JMIRROR on Blog

Here’s to the crazy ones

Yahoo’s Quality vs. Google’s Quantity.

by jmirror on October 1, 2007

검색결과의 품질을 어떻게 평가해야 할까요?

이와 관련해서는 많은 의견들이 있습니다. 일반적으로는 Relevance test를 해서 많이들 비교를 하지요. Google에 계시는 분이 발표한 Research 결과에 의하면 (How Well does Result Relevance Predict Session Satisfaction? 다운받기) relevance test를 한 결과와 User의 Satisfaction과는 놀랍게도 매우 높은 상관관계가 있다는 연구 결과도 있습니다.

최근에 Compete.com에서는 쿼리 대비 referer를 비교한 web search fulfillment index를 발표 하였습니다. 사용자가 검색 결과에서 원하는 문서를 찾아서 검색 결과 중 하나를 클릭 하였다면 검색을 성공했다고 판단 할 수 있을 것이라고 가정하고 조사한 자료 인 것 같습니다. 대략적으로 2/3 정도가 쿼리를 하고 링크를 클릭 한다고 하는 군요. 미국내에서 전체 쿼리수가 7.5 billion 정도이고 search referer가 5 Billion 정도라고 합니다. (According to Compete data there are roughly 7.5 billion search queries performed every month by the US Online Population. However there are only about 5 billion search referrals every month.)

또, qeury 대비 referer를 비교 해 보았을 때, 이들이 정의한 Search fulfillment는 Yahoo!가 압도적으로 구글을 앞서는 것으로 나오고 있습니다.


물론, 이 수치를 해석하는데는 이견이 많이 있습니다. John Battelle의 경우에는 구글사용자와 야후사용자의 사용성이 다르 다는 의견을 내면서 해석을 다르게 할 수 있다는 이야기도 하는데.. 음.. 객관적이지는 않은 것 같습니다.

Navigational qeury가 Google 대비 Yahoo! 사용자가 월등하게 높다면 John Battelle의 의견도 일견 설득력이 있어보이기는 하지만, Qeury의 성격이 크게 다르지 않다면 동의하기가 어렵습니다.

물론 John Battelle도 결론을 내지는 않았습니다. 여러분은 이 결과를 어떻게 보시는 지요.

검색 결과의 품질이 꼭 검색 M/S로 이어지지 않는 다는데 한표를 던진다면 (마케팅적인 요소가 사용자를 움직이는데 큰 역할을 한다는 것에 한표를 던진다와 같은 뜻이겠지요) 이들이 이야기 하는 Search Fulfillment 데이터와 실제 검색 품질과는 매우 높은 상관 관계가 있다고 해석 해도 무리가 없을 것 같습니다.

관련해서 얼마전 사용자 만족도 조사 결과와 무관하지 않다에 저는 한표 던지고 싶습니다.

8 thoughts on “Yahoo’s Quality vs. Google’s Quantity.

  1. EXIFEEDI says:

    제 경우에도 세 가지 검색 서비스를 모두 이용해 보았지만 큰 차이를 발견할 수 없었습니다.
    이는 아마도 초기에 구글의 방식이 성공했던 것이 큰 요인이 아닐까 싶네요.
    그 이후 야후와 MSN/Live.com이 검색 엔진의 품질을 높여
    구글과 수준을 대등하게 혹은 그 이상으로 맞추었더라도
    이미 시장을 선점한 구글과 경쟁하기에는 역부족이 아니었을까 하는 생각이 듭니다.

  2. astraea says:

    저는 query 그 자체보다
    단지 search history 때문에 google 을 사용합니다-_-;;
    근데..query 에 따른 결과 차이도 심하긴 하더군요
    어느게 더 좋았다..라고 섣불리 말하긴 애매하지만요

  3. jmirror says:

    EXIFEEDI/ 그 초기의 구글 방식을 야후에서 불을 지펴주었으니.. 야후는 땅을 칠 일이죠 ㅡ,.ㅡ

    astraea/ (앗! 오랫만이에요!) search history를 많이 사용하시는 군요. 그런 서비스들이 많은 사람이 범용적으로 사용하진 않지만 확실하게 lock-in 하는 효과는 있는 것 같아요. 벌써 나의 데이터가 많이 쌓여 있으니 다른 곳으로 옮기기 힘들어 지겠죠

  4. astraea says:

    아무래도 검색을 많이 하다보면
    이전 검색이 쌓여있으니 다시 찾아볼 수 있으니까요
    history 에 누적된 query 가 9000여건이네요-_-;;;
    y! myweb 은 불편해뵈서;

    방금 cnet 에서 y! search 가 여러 개선하고 있다는 기사를 봤어요
    여전히 history 는 안 보이지만..ㅋㅋ
    vertical 이라고 해야하나요? 많이 변하긴 하겠더군요

  5. halfmoon says:

    모든 클릭을 같은 걸로 본다면 상당히 오해의 소지가 있겠네요.
    스팸이나 성인물을 조금만 더 뿌려 주면 클릭은 정신없이 올라가지요 아마 ^^
    물론 위의 경우는 극단적이긴 하지만 일반 쿼리도 클릭 했다가 실망하고 돌아 오는 경우도 많지요. 이런게 포함되어 있지가 않아 보이네요.
    구글의 user satisfaction에 대한 metrics에 재미있는게 많군요.
    잘 지내시죠?

  6. jmirror says:

    astraea/ 한번 써 보셨어요? search assist 하는 기능이 많이 좋아졌는데. UI도 바뀌고. ㅎㅎ 전 좋던데요?

    halfmoon/ 넵, 잘지냅니다. 지난번 출장때 뵙고 왔어야 하는데 ㅡ,.ㅡ 미션컬리지까지 가서 인사도 못드리고 왔네요.

  7. astraea says:

    물론 써봤지요
    search assist 가 바로 안 보여서 살짝 효용성이 떨어져요~_~
    클릭을 해야하니깐
    아예 오른쪽 사이드에 바로 보이면 더 좋겠어요;
    그외엔 편해지긴했지요=)

    다만, 솔직한 평은 외국 블로그에서 본건데
    ford 는 물론 새로운 자동차를 출시해야한다
    그러나 그렇다고 toyota 를 이길 수 있는건 아니다.. 정도;;

  8. Pingback: JMIRROR on Blog » 새로 개편한 Y! Search (US) Review

Leave a Reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Switch to our mobile site