카테고리
일상 컴퓨터

Wiki 크롤러 차단

오랫동안 운영해온 PhiLoSci Wiki의 걱정거리 중 하나는 트래픽 관리이다. 최근 몇 년 사이 크롤러들이 폭증하는 바람에 위키 웹서버가 툭하면 다운됐기 때문이다. 방문자가 많지 않은 소규모 웹사이트다보니, Google Cloud Platform의 Compute Engine 중 최소사양인 e2-micro (vCPU 2개, 메모리 1GB)로도 충분히 웹서버를 돌릴 수 있을 것 같았지만, 악성 크롤러를 막지 않는 한 일주일에 몇 번씩 서버를 재부팅하는 […]