Technology Review采访了Google的研究部门主管Peter Norvig。对于Google采用何种方式了解他们搜索结果的质量，Peter这样回答：

    我们用多种方式进行测试。最直接的是跟踪用户行为，如果他们点击了第一个搜索结果并且不再回来，这大概就意味着他们找到了想要的。如果他们一页一页地翻看甚至尝试不同的关键词，那我们就知道搜索结果不是他们想要的。另一种方式是我们随机选择一些关键词并雇人来看搜索结果是好是坏。这些只是我们雇来给搜索结果打分的合同工。我们培训他们怎样鉴别Spam和其它不良网站，然后我们记录他们的评判。这差不多是黄金标准，因为有人给出真正意见。但也正因为有人类参与，这种方法我们不能做太多。

Peter还说有时候Google会通过邀请人去他们的实验室或去他们家里拜访的方式来观察他们搜索，然后收集信息，看人们在搜索的哪些方面会遇到困难。

与此相关的是，两年前Search Bistro博客的一段视频演示了Google的评估实验室如何运作（这是个花钱请人来评估搜索结果的项目，不要跟那个免费测试未上线新服务的可信赖测试者项目混淆了）。

来源：techweb