网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 拓展资料： 它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检......