Robots.txt 생성기
검색엔진 크롤링 제어와 robots.txt 점검 도구
크롤러별 허용/차단 규칙을 설정하고 robots.txt 파일을 생성합니다. 프리셋으로 빠르게 시작할 수 있습니다.
robots.txt란?
robots.txt는 웹사이트 루트에 위치하는 텍스트 파일로, 검색엔진 크롤러에게 어떤 페이지를 크롤링할 수 있고 어떤 페이지를 차단할지 알려줍니다. 잘못된 설정은 크롤링 문제와 색인 문제의 원인이 되므로, 정기적인 robots.txt 점검이 필요합니다.
구글 SEO에 미치는 영향
올바른 robots.txt는 구글봇의 크롤링 예산(Crawl Budget)을 최적화합니다. 불필요한 페이지(관리자 페이지, 검색 결과 페이지 등)의 크롤링을 차단하면 구글이 중요한 페이지에 더 집중하여 구글 상위노출에 유리합니다.
이 도구의 이점
22개 주요 크롤러(Googlebot, Bingbot, GPTBot, ClaudeBot 등)를 체크박스로 선택하고, Allow/Disallow 규칙을 직관적으로 설정할 수 있습니다. 4개 프리셋(모두 허용, 표준, 엄격, 모두 차단)으로 빠르게 시작하세요.
빠른 설정
차단할 크롤러 선택
체크한 크롤러는 사이트 전체 크롤링이 차단됩니다.
전역 경로 규칙
모든 허용된 크롤러에 적용됩니다.
추가 설정
생성된 robots.txt
이 파일을 웹사이트 루트 디렉토리에 robots.txt로 저장하세요.
# robots.txt generated by SEO월드
# 2026-05-14
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
차단 없음
robots.txt 가이드
User-Agent: 규칙을 적용할 크롤러. *는 모든 크롤러를 의미합니다.
Allow: 크롤링을 허용할 경로. 기본적으로 모든 경로는 허용됩니다.
Disallow: 크롤링을 차단할 경로.
Sitemap: sitemap.xml 위치를 알려줍니다.
Crawl-delay: 요청 간 대기 시간(초). Google은 이를 무시합니다.
AI 크롤러 차단: GPTBot, ClaudeBot 등을 차단하면 AI 학습에 사이트 데이터가 사용되는 것을 방지할 수 있습니다.
다른 무료 SEO 도구도 사용해보세요
SEO 최적화에 필요한 모든 도구를 무료로 제공합니다
robots.txt 가이드
robots.txt는 어디에 업로드하나요?
웹사이트의 루트 디렉토리에 위치해야 합니다. 예를 들어 example.com이라면 example.com/robots.txt 경로에서 접근할 수 있어야 합니다. FTP 또는 호스팅 파일 관리자를 통해 업로드하면 됩니다.
robots.txt로 페이지를 완전히 숨길 수 있나요?
아닙니다. robots.txt는 크롤링을 차단할 뿐, 인덱싱을 막지는 않습니다. 다른 사이트에서 링크된 페이지는 여전히 검색 결과에 나타날 수 있습니다. 완전한 차단을 원하면 noindex 메타 태그를 함께 사용하세요.
AI 크롤러는 왜 차단하나요?
GPTBot, ClaudeBot 등의 AI 크롤러는 웹사이트 콘텐츠를 학습 데이터로 수집합니다. 사이트 콘텐츠가 AI 학습에 사용되는 것을 원하지 않는다면 이러한 크롤러를 차단할 수 있습니다. 구글 검색 순위에는 영향을 주지 않습니다.
Sitemap 경로를 robots.txt에 포함해야 하나요?
권장됩니다. robots.txt에 Sitemap: https://example.com/sitemap.xml을 추가하면 검색엔진이 사이트맵을 자동으로 발견할 수 있습니다. Google Search Console에 별도로 제출하는 것과 병행하면 더 효과적입니다.
사이트가 구글에 안뜨는데 robots.txt 때문일 수 있나요?
네, 사이트가 구글에 안뜨는 이유 중 하나가 robots.txt 설정 오류입니다. Disallow: / 규칙이 Googlebot에 적용되어 있으면 전체 사이트 크롤링이 차단됩니다. 크롤링 문제가 의심된다면 먼저 robots.txt를 확인하고, 필요한 페이지가 차단되어 있지 않은지 점검하세요.