(0) 
(0)(0) (0)
새벽 4시. 서버가 죽으려고 합니다.
연합회 서버의 성능과 처리대역이 높은 편이지만,
새벽 4시마다 검색엔진이 쳐들어와서
훑기 시작하면 장사가 없습니다.
특히 최근 백괴사전이 들어와서,
백괴사전을 훑기 시작하면,
다른 사이트(특히 홍삼님 블로그나 제 블로그, tcltk.co.kr 사이트)들의
컨텐츠를 읽어들이다가 턱턱 막히고 MySQL 프로세스에 Sleep 을 쏟아냅니다.
(60개의 Sleep Process 가 있으면 서버 정지)
하아... 별 수 없네요.
robots.txt 로 막든,
iptables 로 막든,
검색봇과 전면전을 선포해야 할 듯 합니다.(0) (0)
(0) (0)
TAG 검색봇
받은 트랙백이 없고,
댓글 5개가 달렸습니다.
글
댓글을 달아 주세요
댓글 RSS 주소 : http://snwslug.fossa.kr/~jachin/rss/comment/187댓글 ATOM 주소 : http://snwslug.fossa.kr/~jachin/atom/comment/187
거참 예의없는 것들이군요
크롤러는 기본적으로 사이트에 무리 주지 않는 선에서 크롤링해가야하는데..
왠지 일본에서 robots.txt 를 무시한 마구마구 긁어던 n사 크롤러가 생각나네요
그러게 말입니다.
검색 로봇이 검색해가는 것은 무척 고마운 일이긴 하지만,
서버를 정상동작 하지 못할 정도로 마구 긁어가면...
살살 긁어달라고 빌어야 하는걸까요?
새벽에 약힌옹 블로그에 오면 꼭 뻗어있는 이유가 이것이었군요 -ㅅ- 전 디도스 어택이라도 당하시는 줄 알았어요...
DDoS 공격이라고 봐도 좋지.
이미 만반의 태세를 갖추었다네.
그래서 요즘 접속이 원활하지 않았군요 ^^;; 살살 긁어 ㅋㅋ