구글 서치 콘솔 색인 할당량 초과 – 색인 요청 시 주의해야 할 점
블로그 운영을 하다보면 구글 서치콘솔을 자주 활용하게 됩니다. 그런데 이번에 제가 다른 블로그(fruitfulife)를 운영하면서 예상치 못한 문제를 겪게 되어 그점에 대해 이야기를 나눠보고자 합니다. 바로 ‘구글 서치 콘솔 색인 할당량 초과’ 라는 문제입니다.
전에 AMP 적용 경험담과 문제점 총정리글과도 연결되는 내용입니다. AMP(Accelerated Mobile Pages) 페이지 삭제 후 색인 요청을 하는데, 처음에는 문제 없이 잘 되었지만, 나중엔 색인 요청에 제한이 걸리면서 “할당량 초과”라는 메시지가 나타났죠. 구글이 이를 어떻게 인식했는지, 그리고 이를 해결할 수 있는 방법에 대해 공유하고자 합니다.
1. AMP 페이지 삭제와 색인 요청
지난 몇 주 동안 AMP 관련 URL을 삭제하고, 해당 페이지들의 색인 요청을 진행했습니다. AMP 페이지가 더 이상 필요하지 않아서 삭제하고, 색인되지 않은 페이지들을 요청했죠. 그러는 도중 구글 서치 콘솔에서 “할당량 초과”라는 메시지를 받게 되었습니다.
처음엔 색인 요청을 한두 개씩만 했을 때는 문제가 없었지만, 반복적으로 요청하자 구글이 이를 과도한 활동으로 간주하기 시작한 것 같았어요. 구글은 사용자나 웹마스터가 과도한 요청을 보낼 경우, 이를 스팸 활동으로 인식할 수 있다고 합니다. 그래서 일시적으로 색인 요청을 차단해 제한을 걸었던 것으로 보입니다.
2. 구글 서치 콘솔에서 색인 요청 제한이 걸린 이유
이렇게 구글 서치 콘솔에서 색인 요청을 제한한 이유는 주로 서버 부하나 비정상적인 활동을 방지하기 위한 시스템이라고 합니다.
AMP 적용과 해제, 그로인한 후폭풍으로 색인과 유입이 엄청나게 줄어들었어요. 그래서 빨리 해결하려는 마음에 AMP 페이지를 삭제하고 리디렉션을 한꺼번에 처리했어요. 그러면서 구글이 이런 반복적인 제 요청을 “과도한 크롤링 요청”으로 보고, 해당 요청을 제한했을 가능성이 큽니다.
3. 해결 방법과 예방 조치
깜짝 놀라 해결방안을 찾아본 결과, 다음과 같은 결론을 얻게되었습니다.
요청 간격 두기: 한꺼번에 색인 요청을 하지 않고, 간격을 두고 요청을 보내세요. 구글이 비정상적인 활동으로 간주하지 않도록 주의하는 것이 중요합니다.
- 사이트맵 제출: 구글 서치 콘솔에 사이트맵을 제출하면, 구글 크롤러가 사이트 전체를 효율적으로 크롤링하고 색인할 수 있습니다. 삭제된 페이지나 수정된 페이지에 대한 정보를 구글에 알려줄 수 있죠.
- 리디렉션 처리: AMP 페이지나 불필요한 URL을 삭제할 때, 올바른 301 리디렉션을 설정하는 것이 중요합니다. 이를 통해 구글이 URL 변경을 인식하고, 색인 문제를 최소화할 수 있습니다.
- 구글 서치 콘솔에서 경고 확인: 구글 서치 콘솔에서 특정 경고나 메시지가 있다면, 이를 빠르게 확인하고 문제를 수정하는 것이 좋습니다. 이런 경고를 간과하면 색인 요청 자체에 문제가 발생할 수 있으니, 즉시 확인하고 해결하는 것이 중요합니다.
사실 그동안 여러번 서치콘솔에서 색인에 문제가 있다는 메일을 받은 적 있어요. 그런데 그게 어떤 의미인지 몰라서 계속 무시해 왔어요. 그런 문제가 쌓이고 쌓여 인덱스 되지 않은 페이지가 수천 개에 이르게 되었습니다.
사실 이런 색인 문제는 꼭 AMP가 아니더라도 다양한 이유로 발생할 수 있어요. 심지어는 ‘알 수 없는 문제로 색인되지 않았다’는 메일도 오는데, 전 거의 대부분 이런 메시지였거든요. 그래서 더 무시한 거기도 했고요.
하지만 이런 경고를 계속 무시하면 사이트의 SEO에 큰 영향을 미칠 수 있다는 사실을 이번에 깨닫게 되었습니다.무지(無知), 또는 게으름이 이렇게 무섭네요.
4. 기다림과 점진적인 요청
저처럼 구글 서치 콘솔 색인 할당량 초과로 일시적인 제한이 걸렸다면, 일을 서두르지 않고 한 템포 쉬었다 가는 것이 좋습니다. 일정 시간이 지나면 색인 요청이 다시 가능해지거든요.
구글은 서버 부하를 줄이기 위해 제한을 걸지만, 일정 시간이 지나면 자연스럽게 회복됩니다. 자꾸 조급해지려는 마음을 좀 더 느긋하게 하고, 그동안 좋은 콘텐츠를 많이 쌓아 올리길 권합니다.
지금도 구글 애드센스에 들어가보면, 최적화 코너에 ‘AMP 플러그인을 설치해 잠재 수익을 늘리라는 안내가 뜹니다.
하지만 수시로 글을 작성해서 올리고 수정하기도 하는 블로그에는 사실 AMP가 어울리지 않습니다. AMP 적용을 고려하는 중이라면, 내 사이트에 적합한지부터 잘 살펴서 신중하게 결정하세요.
AMP 페이지 삭제와 색인 요청의 중요성을 잘 알고 있다면, 요청을 조금씩 분배하여 자연스럽게 구글의 크롤링 활동을 유도하는 것이 중요합니다.
이 글을 통해 비슷한 상황에 처한 블로거들에게 도움이 되길 바랍니다. 감사합니다.
