robots.txt 작성법 — 5분 만에 만들고 적용하는 실전 가이드

사이트를 새로 열었는데 구글에 자꾸 엉뚱한 페이지가 색인되거나, 반대로 멀쩡한 페이지가 검색 결과에 안 나옵니다. 이런 경험 있으시죠? 저희가 컨설팅하면서 이 증상으로 찾아오는 분들 중 절반은 결국 robots.txt 한 줄이 문제였습니다. 별것 아닌 텍스트 파일 하나가 검색엔진이 사이트를 어떻게 읽을지 결정하기 때문에, 처음부터 제대로 짚고 가는 게 중요합니다. 이 글에서는 robots.txt 작성법을 5분 안에 끝낼 수 있도록 문법, 예시, 업로드까지 한 번에 정리해 드릴게요.

robots.txt가 정확히 뭐고, 왜 가장 먼저 챙겨야 할까

robots.txt는 사이트 루트에 두는 작은 텍스트 파일입니다. Googlebot이나 Bingbot 같은 검색엔진 크롤러가 사이트에 접근할 때 가장 먼저 읽는 파일이고, "어디는 보지 마라" 또는 "여기 사이트맵이 있다"는 식의 안내문 역할을 합니다. 쉽게 말해 크롤러를 위한 출입 안내판이에요.

흔히 오해하는 부분이 하나 있는데, robots.txt는 페이지를 검색 결과에서 숨기는 도구가 아닙니다. Google 검색 센터에서도 명시하듯이, Disallow로 차단한 페이지라도 외부 사이트에서 링크가 걸려 있으면 URL만 색인될 수 있습니다. 검색 결과에서 완전히 빼고 싶다면 noindex 메타태그를 써야 하는데, 이 부분은 뒤에서 다시 짚어드릴게요.

그럼에도 robots.txt를 가장 먼저 챙겨야 하는 이유는 단순합니다. 크롤링 예산 때문이에요. 구글은 사이트마다 하루에 크롤링할 수 있는 페이지 수를 어느 정도 정해두는데, 관리자 페이지나 검색 결과 페이지처럼 색인할 필요 없는 곳에 크롤러가 시간을 낭비하면 정작 중요한 콘텐츠가 늦게 색인됩니다.

robots.txt 기본 문법 — User-agent, Disallow, Allow, Sitemap

robots.txt 문법은 의외로 단순합니다. 핵심 지시어 4개만 외우면 거의 모든 케이스를 커버할 수 있어요. 처음 보면 헷갈리지만, 한 줄씩 뜯어보면 영어 문장처럼 읽힙니다.

User-agent — 어떤 크롤러에 적용할지 지정

규칙을 적용할 대상 봇을 지정합니다. User-agent: *는 "모든 크롤러에 적용한다"는 뜻이고, User-agent: Googlebot이라고 쓰면 구글 크롤러에만 적용됩니다. 빙은 Bingbot, 네이버는 Yeti예요.

Disallow / Allow — 차단과 허용 경로 작성법

Disallow는 크롤러가 들어오지 못하게 막는 경로, Allow는 차단된 영역 안에서 예외적으로 허용할 경로를 지정합니다. Disallow: /admin/이라고 쓰면 /admin/으로 시작하는 모든 경로가 차단되고, Disallow: /는 사이트 전체 차단입니다. 실수로 슬래시 하나만 잘못 쓰면 사이트 전체가 검색에서 사라지니 조심하셔야 해요.

Sitemap — 사이트맵 위치 알리기

Sitemap 지시어는 크롤러에게 sitemap.xml의 위치를 알려주는 역할입니다. Sitemap: https://example.com/sitemap.xml처럼 절대 URL로 적습니다. 서치콘솔에 사이트맵을 따로 제출하더라도, robots.txt에도 명시하는 게 표준입니다. 사이트맵이 아직 없다면 사이트맵 생성기로 먼저 만드시고 진행하세요.

robots.txt 작성법 5단계 — 빈 파일에서 완성까지

실제로 robots.txt를 만드는 과정은 메모장을 켜는 것에서 시작합니다. 5분이면 충분해요. 저희가 실무에서 쓰는 순서 그대로 정리해 드릴게요.

1단계: 차단할 경로 목록부터 정리하기

문법부터 보는 게 아니라, "내 사이트에서 검색엔진이 안 봤으면 하는 곳"이 어디인지부터 종이에 적어보세요. 보통은 /admin/, /login/, /cart/, 내부 검색 결과 페이지(/?s=), 테스트용 페이지 정도가 후보입니다.

2단계: User-agent 결정 (전체 vs 특정 봇)

대부분의 사이트는 User-agent: * 하나면 충분합니다. 특정 봇만 차단하거나 허용할 일이 있을 때만 봇 이름을 따로 적으세요. 처음부터 너무 잘게 쪼개면 관리만 복잡해집니다.

3단계: Disallow / Allow 규칙 작성

1단계에서 적은 목록을 Disallow: 뒤에 한 줄씩 옮기면 됩니다. 와일드카드 *와 종료 기호 $도 쓸 수 있어요. 예를 들어 Disallow: /*?는 쿼리스트링이 붙은 모든 URL을 막고, Disallow: /*.pdf$는 PDF 파일만 차단합니다.

4단계: Sitemap URL 추가

맨 아래에 Sitemap: https://yourdomain.com/sitemap.xml 한 줄 추가하세요. 사이트맵이 여러 개라면 여러 줄로 나열하면 됩니다.

5단계: 문법 검증 후 저장

파일명은 정확히 robots.txt로 저장하고 인코딩은 반드시 UTF-8이어야 합니다. Google 검색 센터 공식 가이드에서도 파일명 규칙과 사이트당 1개만 허용된다는 점을 강조하고 있어요.

상황별 robots.txt 예시 — 워드프레스·티스토리·일반 사이트

이론보다 예시 한 줄이 더 빠를 때가 있죠. 자주 쓰는 패턴 몇 가지를 그대로 복사해서 쓰시면 됩니다.

워드프레스 기본 robots.txt 예시

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /wp-login.php

Sitemap: https://example.com/sitemap_index.xml

워드프레스는 관리자 페이지와 내부 검색 결과만 막아주면 충분합니다. admin-ajax.php는 Allow로 풀어주는 게 관례인데, 일부 플러그인이 이 파일을 통해 동작하기 때문입니다.

전체 크롤링 허용 / 전체 차단 예시

전체 허용:

User-agent: *
Disallow:

전체 차단(개발 사이트 등):

User-agent: *
Disallow: /

Googlebot만 차단 / 이미지 봇만 허용 예시

User-agent: Googlebot
Disallow: /private/

User-agent: Googlebot-Image
Allow: /images/

User-agent: *
Disallow: /tmp/

robots.txt 위치와 업로드 방법 — 어디에 올려야 인식될까

루트 디렉터리 규칙 (도메인/robots.txt)

robots.txt는 무조건 도메인 루트에 있어야 합니다. https://example.com/robots.txt 처럼요. https://example.com/blog/robots.txt나 https://example.com/seo/robots.txt에 올리면 검색엔진이 아예 못 찾습니다. 서브도메인은 각각 별도의 robots.txt를 가져야 해요. blog.example.com과 www.example.com은 다른 파일이 필요합니다.

워드프레스·티스토리·Next.js 환경별 업로드 방법

Search Console robots.txt 테스터로 검증

업로드 후에는 반드시 검증해야 합니다. 브라우저에서 https://yourdomain.com/robots.txt를 직접 열어보고, 그다음 구글 서치콘솔의 robots.txt 보고서에서 문법 오류와 차단 상태를 확인하세요. Ahrefs 가이드에 따르면 robots.txt의 최대 파일 크기는 약 500KB이고, 규칙이 충돌하면 더 구체적인(긴) 규칙이 우선합니다.

실무에서 자주 보는 robots.txt 실수 5가지

저희가 사이트를 진단하면서 가장 많이 만나는 실수들입니다. 지금 본인 사이트 robots.txt를 열어두고 하나씩 비교해 보세요.

1. Disallow: / 한 줄로 사이트 전체 차단 — 개발 단계에서 막아둔 걸 운영에 그대로 올린 케이스. 가장 흔한 사고입니다.
2. robots.txt로 noindex를 구현하려는 시도 — Disallow는 크롤링만 막을 뿐, 색인을 막지 않습니다. 검색 결과에서 완전히 빼려면 메타로봇 태그가 필요합니다.
3. CSS·JS 파일 차단 — 옛날 가이드를 따라 /wp-includes/나 /assets/를 막아두는 분들이 있는데, 구글이 페이지 렌더링을 못 하면 모바일 친화도 평가에 불이익이 갑니다.
4. 대소문자 불일치 — 실제 경로는 /Blog/인데 robots.txt에는 /blog/로 적어둔 케이스. 규칙이 적용되지 않습니다.
5. Sitemap 누락 또는 상대 경로 — Sitemap은 반드시 https://로 시작하는 절대 URL이어야 합니다.

robots.txt vs 메타로봇 태그 vs noindex — 언제 무엇을 써야 할까

가장 헷갈리는 부분이라 표로 정리했습니다. 세 가지는 비슷해 보이지만 작동 위치와 효과가 완전히 다릅니다.

정리하면, 페이지를 검색 결과에서 진짜로 숨기고 싶다면 noindex 메타태그(또는 X-Robots-Tag)를 쓰고, 크롤러가 굳이 방문하지 않아도 되는 영역은 robots.txt로 막는다고 기억하시면 됩니다. 메타태그 작성이 헷갈리면 메타태그 분석기로 현재 페이지가 어떻게 설정돼 있는지 먼저 확인해 보세요.

오늘 바로 적용할 robots.txt 체크리스트

여기까지 읽으셨다면 이제 본인 사이트 robots.txt를 점검할 차례입니다. 아래 체크리스트를 그대로 따라가시면 됩니다.

• https://내도메인.com/robots.txt를 브라우저에서 직접 열어 파일이 노출되는지 확인
• 파일 인코딩이 UTF-8이고 파일명이 정확히 robots.txt인지 점검
• Disallow 경로에 의도치 않은 /가 단독으로 들어가 있지 않은지 확인
• CSS, JS, 이미지 디렉터리를 실수로 차단하지 않았는지 점검
• Sitemap 절대 URL이 한 줄 이상 포함돼 있는지 확인
• 서치콘솔 robots.txt 보고서에서 오류 0건인지 확인
• 색인 차단이 필요한 페이지는 robots.txt가 아니라 noindex로 처리

관련해서 사이트맵과 색인 요청도 함께 챙기시면 좋습니다. sitemap.xml 만드는 법과 구글 색인 요청하는 방법도 같이 읽어보시면 robots.txt 작성부터 색인까지 한 번에 정리됩니다. 크롤링 자체가 안 되는 상태라면 구글 크롤링 안되는 사이트 해결법도 참고하세요.