이 글은 Blogger 블로그에서 robots.txt를 설정하는 기본 방법을 설명합니다. robots.txt는 검색엔진 크롤러에게 어느 URL을 크롤링해도 되는지 알려주는 파일입니다.
다만 robots.txt는 검색 결과에서 페이지를 숨기는 보안 기능이 아닙니다. 검색 결과 노출을 막고 싶다면 robots.txt보다 noindex 설정, 비공개 처리, 비밀번호 보호 같은 방법을 사용해야 합니다.
- Blogger는 기본 robots.txt를 자동으로 제공합니다.
- 대부분의 일반 블로그는 기본 설정만으로도 충분한 경우가 많습니다.
- 직접 수정할 경우 게시글 URL을 막지 않도록 주의해야 합니다.
- 사이트맵은 robots.txt에 추가하거나 Google Search Console에서 제출할 수 있습니다.
- 설정 후에는 Search Console에서 robots.txt와 sitemap 상태를 확인하는 것이 좋습니다.
블로그를 처음 시작하고 가장 먼저 관심이 가는 것은 내 블로그 글이 검색엔진에 노출이 되었는가?일지도 모르겠습니다.
저는 처음 블로그를 티스토리로 시작했었는데, 개인적인 이유로 최근에 구글 블로거로 이사를 했습니다.
티스토리에서는 검색엔진 노출과 관련된 설정을 크게 건드리지 않았던 것 같은데, Blogger로 이사한 뒤에는 글이 바로 인덱싱되지 않는 것처럼 보여 robots.txt 설정을 알아보게 되었습니다.
이번 글에서는 Blogger에서 robots.txt가 무엇인지, 어떤 식으로 설정하면 되는지, 그리고 설정할 때 주의해야 할 점을 정리해 보겠습니다.
1. robots.txt란?
robots.txt는 검색엔진 크롤러에게 사이트의 어떤 URL을 크롤링해도 되는지, 또는 크롤링하지 말아야 하는지를 알려주는 텍스트 파일입니다.
예를 들어 검색 결과 페이지, 태그 페이지, 중복 URL처럼 굳이 크롤링하지 않아도 되는 페이지를 막을 때 사용할 수 있습니다.
일반적으로 robots.txt 파일은 사이트의 최상위 경로에 위치합니다.
https://example.com/robots.txtBlogger 블로그라면 아래처럼 확인할 수 있습니다.
https://wormkoo.blogspot.com/robots.txtrobots.txt는 크롤링을 제어하는 파일입니다. 이미 검색엔진에 알려진 URL은 robots.txt로 막아도 검색 결과에 남아 있을 수 있습니다. 검색 결과에서 확실히 제외하고 싶다면 noindex, 비공개 설정, 비밀번호 보호 같은 방법을 사용해야 합니다.
2. Blogger에서 robots.txt를 꼭 수정해야 할까?
대부분의 Blogger 블로그는 기본 robots.txt만으로도 충분합니다.
Blogger는 기본적으로 블로그에 필요한 robots.txt와 sitemap을 자동으로 제공합니다. 그래서 특별한 이유가 없다면 무리하게 수정하지 않아도 됩니다.
하지만 아래와 같은 경우에는 custom robots.txt를 확인하거나 수정해볼 수 있습니다.
- Google Search Console에서 특정 URL이 robots.txt에 의해 차단되었다고 나올 때
- 검색 결과 페이지나 라벨 페이지처럼 중복 가능성이 있는 URL을 줄이고 싶을 때
- 사이트맵 URL을 명확하게 알려주고 싶을 때
- 이전에 잘못 설정한 robots.txt를 정리하고 싶을 때
3. Blogger 추천 robots.txt 예시
아래는 Blogger 블로그에서 사용할 수 있는 가장 기본적인 robots.txt 예시입니다.
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://wormkoo.blogspot.com/sitemap.xml위 예시는 모든 크롤러에게 일반 게시글은 허용하고, Blogger의 검색/라벨 페이지에 해당하는 /search 경로는 크롤링하지 않도록 안내합니다.
Blogger에서는 라벨 페이지나 검색 결과 페이지가 아래처럼 /search 경로를 사용하는 경우가 많습니다.
https://wormkoo.blogspot.com/search/label/Blog
https://wormkoo.blogspot.com/search?q=robots이런 페이지는 일반 게시글과 달리 목록 페이지 성격이 강하므로, 게시글 중심으로 검색 노출을 관리하고 싶다면 Disallow: /search를 사용할 수 있습니다.
Disallow: /를 넣으면 전체 블로그 크롤링을 막는 설정이 됩니다. 실수로 넣으면 게시글이 검색엔진에 제대로 수집되지 않을 수 있으니 주의하세요.
4. robots.txt 각 줄의 의미
4-1. User-agent
User-agent는 어떤 크롤러에게 규칙을 적용할지 지정하는 부분입니다.
User-agent: *여기서 *는 모든 크롤러를 의미합니다.
Googlebot만 따로 지정하고 싶다면 아래처럼 작성할 수도 있습니다.
User-agent: Googlebot4-2. Disallow
Disallow는 크롤링을 허용하지 않을 경로를 지정합니다.
Disallow: /search위 설정은 /search로 시작하는 URL을 크롤링하지 말라고 알려주는 의미입니다.
Blogger에서는 라벨 페이지와 검색 결과 페이지가 /search 경로를 사용하는 경우가 많습니다.
4-3. Allow
Allow는 크롤링을 허용할 경로를 지정합니다.
Allow: /위 설정은 블로그의 일반 경로를 허용한다는 의미입니다.
단, 같은 그룹 안에서 Disallow와 Allow가 함께 있을 때는 검색엔진별 해석 방식이 다를 수 있으므로, 복잡하게 만들기보다 단순하게 유지하는 것이 좋습니다.
4-4. Sitemap
Sitemap은 검색엔진에게 사이트맵 위치를 알려주는 줄입니다.
Sitemap: https://wormkoo.blogspot.com/sitemap.xml사이트맵은 검색엔진이 내 블로그의 중요한 페이지를 더 쉽게 찾도록 도와줍니다.
Blogger 블로그에서는 보통 아래 주소로 사이트맵을 확인할 수 있습니다.
https://내블로그주소.blogspot.com/sitemap.xml5. Blogger에서 custom robots.txt 설정하는 방법
Blogger 관리자 화면에서 custom robots.txt를 설정할 수 있습니다.
- Blogger 관리자 페이지로 이동합니다.
- 왼쪽 메뉴에서 설정을 클릭합니다.
- 크롤러 및 색인 생성 항목을 찾습니다.
- 맞춤 robots.txt 사용 설정을 켭니다.
- 맞춤 robots.txt 항목에 원하는 규칙을 입력합니다.
- 저장 후 블로그의 robots.txt 주소로 접속해 반영 여부를 확인합니다.
메뉴 이름은 Blogger 언어 설정이나 UI 업데이트에 따라 조금 다르게 보일 수 있습니다.
설정 후 아래 주소로 접속해서 실제 robots.txt가 어떻게 표시되는지 확인해 주세요.
https://wormkoo.blogspot.com/robots.txt6. 유용하게 쓰이는 robots.txt 예시
6-1. 모든 크롤러에게 전체 사이트 허용
User-agent: *
Allow: /
Sitemap: https://wormkoo.blogspot.com/sitemap.xml블로그 전체 크롤링을 허용하고 사이트맵만 알려주는 가장 단순한 형태입니다.
6-2. Blogger 검색/라벨 페이지 차단
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://wormkoo.blogspot.com/sitemap.xmlBlogger에서 가장 많이 사용하는 형태 중 하나입니다. 일반 게시글은 허용하고, 검색/라벨 목록 페이지는 크롤링하지 않도록 안내합니다.
6-3. 전체 사이트 크롤링 차단
User-agent: *
Disallow: /이 설정은 전체 블로그 크롤링을 막습니다.
일반 블로그 운영 중에는 사용하지 않는 것이 좋습니다. 테스트용 비공개 사이트가 아니라면 실수로 넣지 않도록 주의하세요.
6-4. 특정 크롤러만 차단
User-agent: Bingbot
Disallow: /
User-agent: *
Allow: /위 예시는 Bingbot은 차단하고, 다른 크롤러는 허용하는 형태입니다.
다만 특별한 이유 없이 특정 검색엔진을 막는 것은 추천하지 않습니다.
6-5. 특정 파일 확장자 차단
User-agent: *
Disallow: /*.gif$특정 확장자의 파일을 크롤링하지 않도록 설정하는 예시입니다.
하지만 Blogger에서 이미지나 리소스를 무리하게 차단하면 게시글 미리보기, 이미지 검색, 페이지 렌더링에 영향을 줄 수 있으므로 신중하게 사용해야 합니다.
7. Blogger에서 robots.txt 설정 시 주의사항
- Disallow: /를 실수로 넣지 않기
- 게시글 URL이 차단되지 않는지 확인하기
- 검색 노출을 막고 싶은 용도로 robots.txt만 사용하지 않기
- 사이트맵 주소가 본인 블로그 주소와 맞는지 확인하기
- 설정 후 바로 반영되지 않을 수 있으므로 Search Console에서 상태 확인하기
- 너무 많은 규칙을 넣기보다 단순하게 유지하기
robots.txt에 어떤 경로를 Disallow로 적으면, 오히려 그 경로가 외부에 드러날 수 있습니다. 개인 정보, 비공개 자료, 중요한 파일을 보호하려면 robots.txt가 아니라 비공개 설정이나 접근 제한을 사용해야 합니다.
8. Google Search Console에서 확인하기
robots.txt를 수정했다면 Google Search Console에서 상태를 확인하는 것이 좋습니다.
확인하면 좋은 항목은 아래와 같습니다.
- robots.txt 파일을 Google이 정상적으로 읽을 수 있는지
- 중요한 게시글 URL이 robots.txt에 의해 차단되지 않았는지
- sitemap.xml이 정상적으로 제출되었는지
- 새 글이 색인 생성 대상에 포함되는지
특히 sitemap은 Search Console의 Sitemaps 메뉴에서 제출할 수 있습니다.
https://wormkoo.blogspot.com/sitemap.xml사이트맵 제출은 검색엔진에 URL을 알려주는 힌트 역할을 합니다. 제출한다고 해서 모든 글이 무조건 색인되는 것은 아니지만, 블로그 구조를 검색엔진에 알려주는 데 도움이 됩니다.
9. 추천 설정 정리
Blogger 블로그를 일반적으로 운영한다면 아래 설정을 추천합니다.
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://wormkoo.blogspot.com/sitemap.xml다른 블로그에 적용할 때는 Sitemap 주소만 본인 블로그 주소로 변경하면 됩니다.
Sitemap: https://내블로그주소.blogspot.com/sitemap.xmlcustom domain을 사용 중이라면 blogspot 주소가 아니라 본인의 도메인 주소를 기준으로 확인해 주세요.
마무리
robots.txt는 검색엔진 최적화에서 아주 복잡한 설정처럼 느껴질 수 있지만, Blogger 블로그에서는 너무 복잡하게 설정할 필요가 없습니다.
핵심은 아래 세 가지입니다.
- 일반 게시글은 막지 않기
- 필요하다면 /search 경로만 차단하기
- sitemap.xml 주소를 정확히 넣기
검색엔진 노출이 잘 되지 않는다고 해서 robots.txt를 복잡하게 수정하기보다는, 먼저 Google Search Console에서 색인 상태와 sitemap 제출 상태를 확인하는 것을 추천합니다.
업데이트 기록
- 2026년 5월: robots.txt는 검색 결과 숨김용이 아니라 크롤링 제어용이라는 주의사항을 추가했습니다.
- 2026년 5월: Blogger 기준 추천 robots.txt 예시를 정리했습니다.
- 2026년 5월: Search Console에서 robots.txt와 sitemap을 확인하는 내용을 추가했습니다.
- 2026년 5월: 전체 사이트 차단, 특정 크롤러 차단, 확장자 차단 예시를 보완했습니다.
- 2024년 3월: Blogger 블로그 robots.txt 설정 방법을 처음 작성했습니다.
