出版组织要求限制搜索引擎抓取 有利于保护版权
11月 30th, 2007 . by 土坷垃北京时间11月30日消息,据国外媒体报道,一家由新闻机构和出版商组成的组织周四向各搜索引擎服务商提出建议,要求后者改变现有网络资源利用方式,以使各网站对其内容获得更多控制权。
目前谷歌、雅虎及其他搜索服务商搜索引擎数据库中的所有网页,都是由Robot程序自动抓取收录。如果某家网站不希望特定数据被搜索引擎抓取,就需要建立一个robots.txt文档,以控制搜索引擎索引软件的抓取活动。利用现有技术,网站可阻止搜索引擎对单独网页、特定目录或整个网站的抓取。但上述新闻出版组织周四在一份名为“自动内容访问协议(ACAP)”的提议书中表示,各网站今后应获得更多控制权。
阅读全文 »