구글 크롤링 안되는 사이트 해결법 — 원인 5가지와 진단 순서 총정리

구글 크롤링이 안 되면 어떤 일이 벌어지나

사이트를 오픈하고 몇 주가 지났는데 구글에 검색해도 내 페이지가 하나도 안 뜹니다. 이런 상황, 생각보다 많은 분들이 겪고 있습니다.

솔직히 말하면, 저희가 컨설팅하면서 가장 자주 듣는 질문 중 하나가 "왜 구글에 제 사이트가 안 나오죠?"입니다. 대부분 콘텐츠 문제나 SEO 부족이라고 생각하는데, 실제로는 그보다 더 근본적인 문제가 있는 경우가 많습니다. 바로 구글봇이 사이트를 아예 크롤링하지 못하고 있는 것이죠.

크롤링은 구글이 여러분의 사이트 페이지를 발견하고 읽어가는 과정입니다. 이 단계가 막히면 색인(인덱싱)도 안 되고, 색인이 안 되면 검색 결과에 절대 나올 수 없습니다. 아무리 좋은 글을 써도 구글이 읽을 수조차 없으니까요.

저희 팀 내부에서도 신규 사이트 진단할 때 제일 먼저 확인하는 게 크롤링 상태입니다. 콘텐츠 품질을 따지기 전에, 구글봇이 사이트에 접근할 수 있는지부터 봐야 합니다.

크롤링 차단 여부, 서치콘솔에서 확인하는 법

크롤링 문제를 진단하는 가장 확실한 방법은 서치콘솔 사용법 가이드에서도 다룬 구글 서치콘솔입니다. 무료인 데다가 구글이 직접 알려주는 데이터니까 신뢰도가 가장 높습니다.

URL 검사 도구 사용법

서치콘솔에 접속한 뒤, 상단 검색창에 확인하고 싶은 URL을 입력하세요. "URL이 Google에 등록되어 있지 않습니다"라는 메시지가 뜨면, 구글이 해당 페이지를 아직 크롤링하지 못한 것입니다.

"크롤링됨 — 현재 색인이 생성되지 않음"이라는 메시지가 뜨면, 크롤링은 했지만 색인할 가치가 없다고 판단한 경우입니다. 이 두 가지는 원인과 해결법이 다르니 구분해서 봐야 합니다.

크롤링 통계 보고서 읽기

서치콘솔 왼쪽 메뉴에서 "설정" → "크롤링 통계"를 보면 구글봇이 사이트를 얼마나 자주, 얼마나 빨리 크롤링하고 있는지 확인할 수 있습니다. 여기서 응답 코드별 분포도 보이는데, 5xx 에러가 많으면 서버 문제를 의심해야 합니다.

robots.txt가 구글봇을 막고 있는 경우

실무에서 자주 보는 패턴인데, 사이트가 크롤링이 안 되는 원인의 상당수가 robots.txt 설정 실수입니다. 특히 사이트를 개발 환경에서 운영 환경으로 옮길 때 robots.txt를 그대로 가져오는 실수가 정말 흔합니다.

robots.txt 확인 방법

브라우저에서 여러분의도메인.com/robots.txt를 직접 입력해보세요. 아래와 같은 내용이 있다면 구글봇을 완전히 차단하고 있는 것입니다:

User-agent: *
Disallow: /

이 두 줄이면 모든 크롤러가 사이트 전체를 크롤링할 수 없습니다. 개발 중에 검색엔진이 미완성 사이트를 긁어가지 못하게 넣어두었다가, 런칭 후 깜빡하고 안 바꾸는 경우가 대부분입니다.

올바른 robots.txt 설정

대부분의 사이트는 아래 설정이면 충분합니다:

User-agent: *
Allow: /
Sitemap: https://여러분의도메인.com/sitemap.xml

특정 경로만 차단하고 싶다면 Disallow: /admin/처럼 해당 디렉토리만 지정하세요. 직접 작성이 불안하다면 Robots.txt 생성기를 활용하면 실수를 줄일 수 있습니다.

noindex 태그가 색인을 막고 있는 경우

robots.txt가 정상인데도 색인이 안 된다면, 페이지 자체에 noindex 태그가 붙어 있을 가능성이 높습니다. 이건 좀 더 은밀해서 놓치기 쉽습니다.

noindex는 "크롤링은 해도 되지만 색인하지 마세요"라는 의미입니다. robots.txt와는 역할이 다릅니다.

noindex 태그는 두 군데에 있을 수 있습니다:

워드프레스라면 Yoast SEO나 Rank Math 플러그인에서 개별 페이지마다 noindex를 설정할 수 있는데, 실수로 중요한 페이지에 체크해놓는 경우가 있습니다. 메타태그 분석기로 각 페이지의 메타 태그 상태를 한번에 확인해보세요.

서버 오류와 응답 속도 문제

서버가 구글봇의 요청에 제대로 응답하지 못하면 크롤링이 실패합니다. Google 검색 센터 크롤링 문제 해결 가이드에서도 서버 오류를 주요 원인으로 꼽고 있습니다.

저희가 실제로 분석해보면, 저렴한 공유 호스팅을 사용하는 사이트에서 이 문제가 많이 발생합니다. 트래픽이 조금만 몰려도 서버가 버티지 못해서 구글봇 요청에 5xx 에러를 반환하는 것이죠.

서치콘솔 크롤링 통계에서 응답 시간이 평균 2초 이상이면 주의가 필요합니다. 구글은 각 사이트마다 크롤링 예산(crawl budget)이라는 개념을 적용하는데, 서버 응답이 느리면 같은 시간에 크롤링할 수 있는 페이지 수가 줄어듭니다. 페이지가 수천 개인 사이트에서는 이것만으로도 중요한 페이지가 크롤링되지 않을 수 있습니다.

사이트맵 미제출 또는 오류

사이트맵은 구글봇에게 "이 사이트에 이런 페이지들이 있어요"라고 알려주는 지도입니다. 없어도 크롤링은 되지만, 있으면 새 페이지 발견 속도가 확실히 빨라집니다.

현실적으로, 소규모 사이트도 사이트맵을 제출해두는 게 좋습니다. 특히 내부 링크 구조가 완벽하지 않은 사이트라면 사이트맵이 유일한 발견 경로인 페이지가 있을 수 있거든요.

• sitemap.xml이 도메인 루트에 존재하는지 확인 (예: example.com/sitemap.xml)
• 사이트맵 안의 URL이 실제로 접근 가능한지 확인 (404 URL 포함 금지)
• 사이트맵에 noindex 페이지가 포함되어 있지 않은지 확인
• 서치콘솔에서 사이트맵을 제출했는지 확인
• 사이트맵 용량이 50MB 미만, URL 수가 50,000개 미만인지 확인

Semrush 크롤링 문제 가이드에 따르면, 사이트맵 오류는 크롤링 문제의 상위 원인 중 하나입니다. 잘못된 URL이나 깨진 링크가 포함된 사이트맵은 오히려 구글봇에게 혼란을 줄 수 있습니다.

자바스크립트 렌더링 문제

React, Vue, Angular 같은 프레임워크로 만든 SPA(Single Page Application) 사이트는 크롤링에서 불리할 수 있습니다. 구글봇이 자바스크립트를 실행할 수는 있지만, HTML 크롤링보다 시간과 리소스가 더 많이 듭니다.

실제로 저희가 자주 보는 사례가 있습니다. 사이트 소스를 보면 <div id="app"></div>만 덩그러니 있고, 나머지 콘텐츠는 전부 자바스크립트로 그리는 구조죠. 구글봇이 이걸 렌더링하는 데 실패하면 빈 페이지로 인식합니다.

문제 해결 후 재크롤링 요청하는 법

원인을 찾아서 수정했다면, 구글이 알아서 다시 크롤링할 때까지 기다릴 수도 있지만, 직접 재크롤링을 요청하면 훨씬 빠릅니다.

서치콘솔 URL 검사 도구에서 수정한 페이지 URL을 입력하고, "색인 생성 요청" 버튼을 누르면 됩니다. Google 재크롤링 요청 가이드에 따르면, 개별 URL은 보통 며칠 내에 재크롤링됩니다.

페이지가 많다면 수정된 사이트맵을 다시 제출하는 게 효율적입니다. 서치콘솔 "사이트맵" 메뉴에서 사이트맵 URL을 제출하면 구글이 변경된 페이지를 우선적으로 크롤링합니다.

다만 재크롤링 요청은 하루에 횟수 제한이 있으니, 수정이 다 끝난 뒤에 한번에 요청하는 게 좋습니다. 수정 → 확인 → 요청, 이 순서를 지키세요.

지금까지 다룬 내용을 전부 점검하고 싶다면, 온페이지 SEO 분석 도구로 사이트 전체를 한번에 진단해보세요. 크롤링 차단, 메타태그, 서버 응답까지 주요 항목을 자동으로 체크해줍니다.