Technology Review采访了Google的研究部门主管Peter Norvig。对于Google采用何种方式了解他们搜索结果的质量，Peter这样回答：

    我们用多种方式进行测试。最直接的是跟踪用户行为，如果他们点击了第一个搜索结果并且不再回来，这大概就意味着他们找到了想要的。如果他们一页一页地翻看甚至尝试不同的关键词，那我们就知道搜索结果不是他们想要的。另一种方式是我们随机选择一些关键词并雇人来看搜索结果是好是坏。这些只是我们雇来给搜索结果打分的合同工。我们培训他们怎样鉴别Spam和其它不良网站，然后我们记录他们的评判。这差不多是黄金标准，因为有人给出真正意见。但也正因为有人类参与，这种方法我们不能做太多。
阅读全文 »