Robots.txt

트래픽을 몰리는 원인 분석 결과.. 가장 큰 원인이 여러개의 다음 봇이 동시에 접근하고 있는 것을 발견했습니다. 제가 알기로 다음봇은 구글봇과 동일해서 robots.txt 규칙을 잘 지키는 것으로 알고 있었는데.. 어쩐 일인지, 여러개의 로봇이 돌아가면서 접근해서 엄청나게 트래픽을 잡아먹네요.. robots.txt 규칙을 따른다면 여러 봇이 오더라도 3시간에 한번씩만 가져가야 하니.. 트래픽이 많이 걸리지 않을 듯 한데.. 제가 뭔가 잘못 생각한 것인지도..

어제 오후에 갑작스럽게 트래픽이 초과되는 일이 발생했습니다. 제 홈페이지와 보드, Wikipage는 그야말로 개인적으로 사용하니 별문제 없겠고.. 블로그도 그리 인기있을만한 블로그가 아니니 방문자로 인한것이 아닌듯 하더군요.. (블로그 상에는 많은 사용자 방문수가 나오는데.. Google analysis 결과로 미루어보아 실제 방문자수는 하루에 50명 이하일 것으로 보고 있습니다. 그래도, 초기에 블로그를 시작하면서 많아봤자 10명 남짓일 것이라 예상했던 것에 비하면 예상외로 많은 분들이 찾아주시는 블로그입니다.. RSS 사용자 분들도 생각보다 많구요..^^ 감사드립니다. )