트래픽을 몰리는 원인 분석 결과.. 가장 큰 원인이 여러개의 다음 봇이 동시에 접근하고 있는 것을 발견했습니다.
제가 알기로 다음봇은 구글봇과 동일해서 robots.txt 규칙을 잘 지키는 것으로 알고 있었는데..
어쩐 일인지, 여러개의 로봇이 돌아가면서 접근해서 엄청나게 트래픽을 잡아먹네요..
robots.txt 규칙을 따른다면 여러 봇이 오더라도 3시간에 한번씩만 가져가야 하니.. 트래픽이 많이 걸리지 않을 듯 한데.. 제가 뭔가 잘못 생각한 것인지도..
블로깅 이전에 트래픽은 10%미만이었던 홈페이지가 블로깅이후에 점점 트래픽이 늘어나서 rss는 피드 버너쪽으로 돌리게 만들고, 별의 별것을 다하게 되었고.. 드디어 어제 트래픽 초과라는 어마 어마한 일을 겪었습니다.
부랴 부랴 robots.txt도 만들어 넣었습니다. 20분 이내에 로봇은 오지 말라고..
그리고나서 오늘은 트래픽이 쾌적한 상태로 돌아올 것이라 생각하고 있었습니다..
하지만 착각이었습니다.
