Posts tagged YAHOO

검색결과의 품질을 어떻게 평가해야 할까요?

이와 관련해서는 많은 의견들이 있습니다. 일반적으로는 Relevance test를 해서 많이들 비교를 하지요. Google에 계시는 분이 발표한 Research 결과에 의하면 (How Well does Result Relevance Predict Session Satisfaction? 다운받기) relevance test를 한 결과와 User의 Satisfaction과는 놀랍게도 매우 높은 상관관계가 있다는 연구 결과도 있습니다.

최근에 Compete.com에서는 쿼리 대비 referer를 비교한 web search fulfillment index를 발표 하였습니다. 사용자가 검색 결과에서 원하는 문서를 찾아서 검색 결과 중 하나를 클릭 하였다면 검색을 성공했다고 판단 할 수 있을 것이라고 가정하고 조사한 자료 인 것 같습니다. 대략적으로 2/3 정도가 쿼리를 하고 링크를 클릭 한다고 하는 군요. 미국내에서 전체 쿼리수가 7.5 billion 정도이고 search referer가 5 Billion 정도라고 합니다. (According to Compete data there are roughly 7.5 billion search queries performed every month by the US Online Population. However there are only about 5 billion search referrals every month.)

또, qeury 대비 referer를 비교 해 보았을 때, 이들이 정의한 Search fulfillment는 Yahoo!가 압도적으로 구글을 앞서는 것으로 나오고 있습니다.

물론, 이 수치를 해석하는데는 이견이 많이 있습니다. John Battelle의 경우에는 구글사용자와 야후사용자의 사용성이 다르 다는 의견을 내면서 해석을 다르게 할 수 있다는 이야기도 하는데.. 음.. 객관적이지는 않은 것 같습니다.

Navigational qeury가 Google 대비 Yahoo! 사용자가 월등하게 높다면 John Battelle의 의견도 일견 설득력이 있어보이기는 하지만, Qeury의 성격이 크게 다르지 않다면 동의하기가 어렵습니다.

물론 John Battelle도 결론을 내지는 않았습니다. 여러분은 이 결과를 어떻게 보시는 지요.

검색 결과의 품질이 꼭 검색 M/S로 이어지지 않는 다는데 한표를 던진다면 (마케팅적인 요소가 사용자를 움직이는데 큰 역할을 한다는 것에 한표를 던진다와 같은 뜻이겠지요) 이들이 이야기 하는 Search Fulfillment 데이터와 실제 검색 품질과는 매우 높은 상관 관계가 있다고 해석 해도 무리가 없을 것 같습니다.

관련해서 얼마전 사용자 만족도 조사 결과와 무관하지 않다에 저는 한표 던지고 싶습니다.