요즘 몇개의 블로그들을 보니 올블로그에서 robots.txt로 gopage를 막았는데 네이버나 다음에서 크롤해갔다고 말이 나오는걸 봤습니다.

우선 그건 네이버나 다음(사실 구글의 웹검색 결과죠)의 잘못이 아닙니다.
올블로그의 robots.txt를 보시면 아래와 같습니다.

User-agent: *
Disallow: /angel
Disallow: /gopage
Disallow: /search
Disallow: /controls
Disallow: /mypage

/GoPage가 아니고 /gopage로 나옵니다.
robots.txt는 case sensitive입니다. 즉 모든 검색엔진들은 /gopage는 크롤하지 않지만  /GoPage는 크롤 해가고 있었습니다. 정해진 규칙대로 말입니다.

올블로그도 조금 이상하군요. 지금껏 야후나 구글처럼 로봇정책을 지키는 검색엔진에 계속 결과가 나오는걸 봤으면 한번 확인 해볼수도 있었을텐데요. 2006년 4월에 robots.txt를 넣으셨으니 확인하실 시간은 충분 했던것 같구요.

네이버가 마음에 안드는것도 있지만 이번건은 듣지 않아도 될 욕을 들은것 같습니다.

그런데 왜 갑자기 양치기 소년이 생각날까요?