sitemap.xml과 robots.txt의 차이와 설정 방법
검색 크롤러의 탐색을 돕는 sitemap.xml과 접근 범위를 안내하는 robots.txt, 색인 제어용 noindex의 차이를 설명합니다.
세 기능의 역할을 구분해야 합니다
| 설정 | 주요 역할 | 주의점 |
|---|---|---|
| sitemap.xml | 발견할 대표 URL 목록 제공 | 색인을 보장하지 않음 |
| robots.txt | 크롤링 허용·제한 안내 | 검색결과 제거 수단이 아님 |
| noindex | 페이지 색인 제외 요청 | 크롤러가 태그를 읽을 수 있어야 함 |
사이트맵에 넣을 URL
200으로 응답하고 canonical이 자기 자신이며 색인 가능한 공개 페이지를 포함합니다. 리디렉션, 404, 로그인 페이지와 noindex 페이지는 제외하는 것이 좋습니다. 동일 콘텐츠의 파라미터 URL을 대량으로 넣지 마세요.
robots.txt에서 피할 실수
CSS와 JavaScript를 막으면 검색엔진이 실제 화면과 기능을 이해하기 어렵습니다. 개인정보가 있는 경로는 robots 차단만 믿지 말고 인증과 접근 제어를 적용해야 합니다. 사이트맵 주소는 절대 URL로 한 줄 추가할 수 있습니다.
변경 후 확인
파일을 배포한 뒤 직접 URL을 열어 200 응답과 콘텐츠 유형을 확인하고 Search Console에서 제출 상태와 실제 URL 검사를 확인하세요. 이전 리디렉션과 noindex 상태는 재크롤링되기 전까지 보고서에 남을 수 있습니다.
sitemap 생성 · robots.txt 생성 · 검색결과 미리보기
작성 및 검토: FreeTools 운영팀 · 마지막 검토 2026년 7월 31일 · 일반적인 사용 안내이며 중요한 판단은 원본과 공식 기준을 확인하세요.