메뉴들의 조회수를 모니터하는 중에 조회수가 이상하다는 것을 판단하고 로그들 분석하여 보니 다양한 스파이더(Spider)들이 컨텐츠를 긁어 가는 것을 확인할 수 있었습니다. 조회수의 30% 이상이 스파이더가 읽은 허수 였던 것입니다.

    [2004-11-08 03:41:10 AM] 207.46.98.33 /news/news.php - msnbot/0.3 (+http://search.msn.com/msnbot.htm) bot
    [2004-11-08 05:14:56 AM] 211.210.46.140 /forum/forum.php?CMD=view&IDX=39 - Microsoft URL Control - 6.01.9782 bot
    [2004-11-08 05:14:57 AM] 211.210.46.140 /forum/forum.php?CMD=view&TYPE=1&IDX=39 - Microsoft URL Control - 6.01.9782 bot
    [2004-11-08 05:16:14 AM] 211.210.46.140 /bbs/bbs.php?CMD=view&TYPE=1&KEY=&SC=S&&CC=&PAGE=2&IDX=1473 - Microsoft URL Control - 6.01.9782 bot
    [2004-11-08 05:16:15 AM] 211.210.46.140 /bbs/bbs.php?CMD=view&TYPE=1&KEY=&SC=S&&CC=&PAGE=2&IDX=1544 - Microsoft URL Control - 6.01.9782 bot
    [2004-11-08 05:16:15 AM] 211.210.46.140 /bbs/bbs.php?CMD=view&TYPE=1&KEY=&SC=S&&CC=&PAGE=2&IDX=1588 - Microsoft URL Control - 6.01.9782 bot
    [2004-11-08 05:16:15 AM] 211.210.46.140 /bbs/bbs.php?CMD=view&TYPE=1&KEY=&SC=S&&CC=&PAGE=2&IDX=1590 - Microsoft URL Control - 6.01.9782 bot
    [2004-11-08 05:16:16 AM] 211.210.46.140 /bbs/bbs.php?CMD=view&TYPE=1&KEY=&SC=S&&CC=&PAGE=2&IDX=1591 - Microsoft URL Control - 6.01.9782 bot
    [2004-11-08 05:16:16 AM] 211.210.46.140 /bbs/bbs.php?CMD=view&TYPE=1&KEY=&SC=S&&CC=&PAGE=2&IDX=1630 - Microsoft URL Control - 6.01.9782 bot
    [2004-11-08 05:16:16 AM] 211.210.46.140 /bbs/bbs.php?CMD=view&TYPE=1&KEY=&SC=S&&CC=&PAGE=3&IDX=1002 - Microsoft URL Control - 6.01.9782 bot
    [2004-11-08 05:16:16 AM] 211.210.46.140 /bbs/bbs.php?CMD=view&TYPE=1&KEY=&SC=S&&CC=&PAGE=3&IDX=1080 -[2004-11-08 07:45:38 AM] 66.249.65.35 /programming/lec.php?TYPE=4&AG=pg - Mediapartners-Google/2.1 google
    [2004-11-08 07:45:49 AM] 66.249.65.35 /programming/tipntech.php?TYPE=0&AG=pg - Mediapartners-Google/2.1 google

    1. isUserAgent 함수

    ///////////////////////////////////////////////////////////////////////
    // 함  수  명 : isUserAgent
    // 리  턴  값 : true/false
    // 설      명 : Useragent 로 bot와 일반 사용자구분
    function isUserAgent() {
     global  $HTTP_SERVER_VARS;
     if (preg_match ("/Mozilla/i",$HTTP_SERVER_VARS["HTTP_USER_AGENT"])) {
      return true;
     } else {
      return false;
     }
    }

    2. 게시판등의 코드에 적용

    .....  

    if(isUserAgent()){
       $sql = "
        UPDATE $this->tbl_main
         SET CNT = CNT + 1
        WHERE IDX = $IDX
       ";
       $result = mysql_query($sql,$this->conn) or die ("SQL Error : ". mysql_error());
      }

    ....

    위의 코드를 적용하여 운영하는 메뉴의 조회수를 정확하게 파악하여 해당 컨텐츠의 문제점과 유용성을 파악해 보십시요. ( 게시판,포럼등의 조회수는 TV의 시청률과 같다는 사실 )

    Posted by 부니기