Generate robots.txt logo
GeneratorValidatorFAQs

robots.txt Generator Tool

Quickly generate a robots.txt for your site

기본 구성 선택

귀하의 요구 사항에 따라

귀하의 프로젝트에 따라

차단 옵션

Allow/Disallow AI bots

Sitemap url

Your robots.txt file

Your raw file, feel free to create it by your own or download it

<span className={styles.code}>Robots.txt</span>

이 생성기를 사용해야 하는 이유는 무엇인가요?

robots.txt 생성기 및 유효성 검사 도구 웹마스터, SEO 전문가, 마케팅 담당자가 이 필수 파일을 빠르고 쉽게 만들 수 있도록 도와줍니다.

미리 준비된 제안을 사용하여 시작할 수 있습니다. 첫 번째 경우에는 지시어(크롤링 허용 또는 허용 안 함), 경로(특정 페이지 및 파일), 지시어를 따라야 하는 봇을 설정하여 파일을 사용자 지정합니다. 또는 가장 일반적인 일반 및 CMS 지시어 집합이 포함된 미리 만들어진 robots.txt 템플릿을 선택할 수도 있습니다. 파일에 사이트맵을 추가할 수도 있습니다.

자주 묻는 질문

다음은 robots.txt 파일과 사용 방법에 대한 몇 가지 일반적인 질문입니다.

robots.txt 파일을 검색 엔진에 전송하려면 어떻게 하나요?

검색 엔진에 robots.txt 파일을 제출할 필요는 없습니다. 크롤러는 사이트를 크롤링하기 전에 robots.txt 파일을 찾습니다. 사이트를 찾으면 사이트를 스캔하기 전에 먼저 읽습니다.

robots.txt 파일을 변경하고 Google에 알리고 싶다면 해당 파일을 구글 서치 콘솔(Google Search Console)에 제출하면 됩니다. Robots.txt 테스터를 사용하여 텍스트 파일을 붙여넣고 제출을 클릭하세요.

생성된 robots.txt 파일을 웹사이트에 추가하려면 어떻게 하나요?

검색 엔진 및 기타 크롤링 봇은 웹사이트의 기본 디렉터리에서 robots.txt 파일을 찾습니다. robots.txt 파일을 생성한 후 웹사이트의 루트 폴더에 추가합니다. https://yoursite.com/robots.txt.

robots.txt 파일을 추가하는 방법은 사용 중인 서버와 CMS에 따라 다릅니다. 루트 디렉터리에 액세스할 수 없는 경우 웹 호스팅 제공업체에 문의하세요.

robots.txt 파일에 사이트맵을 추가하려면 어떻게 하나요?

로봇이 웹사이트 콘텐츠를 더 쉽게 크롤링할 수 있도록 robots.txt 파일에 사이트맵을 추가할 수 있습니다. 사이트맵 파일은 http://yourwebsite/sitemap.xml 에 있습니다. 다음과 같이 사이트맵의 URL이 포함된 지시문을 추가합니다.

User-agent: * 
Disallow: /folder1/ 
Allow: /image1/ 
Sitemap: https://your-site.com/sitemap.xml

허용 지시어를 올바르게 사용하려면 어떻게 해야 하나요?

허용 지시어는 허용하지 않음 지시어를 대체합니다. 허용과 불허(Allow and Disallow)를 함께 사용하면 검색 엔진이 허용되지 않은 디렉터리 내의 특정 폴더, 파일 또는 페이지에 액세스하도록 지시할 수 있습니다.

예제: 검색 엔진은 /album/ 디렉터리에 액세스할 수 없습니다.

Disallow: /album/

Disallow 지시문을 올바르게 사용하려면 어떻게 해야 하나요?

사용자 에이전트 지시문을 작성한 후 크롤링 지침을 추가하여 특정(또는 모든) 봇의 동작을 지정합니다. Tips:

1. Disallow 지시문을 값 없이 그대로 두지 마세요. 이 경우 봇이 사이트의 모든 콘텐츠를 크롤링합니다.

Disallow: / # allow to crawl the entire website

2. 크롤링을 차단하려는 모든 파일을 나열하지 마세요. 그냥 폴더에 대한 액세스를 허용하지 않으면 폴더에 있는 모든 파일이 크롤링 및 인덱싱에서 차단됩니다.

Disallow: /folder/

3. 필요한 경우가 아니라면 전체 웹사이트에 대한 액세스를 차단하지 마세요.

Disallow: / # block access to the entire website

홈페이지, 랜딩 페이지, 제품 페이지 등 필수 웹사이트 페이지가 크롤링에서 차단되지 않도록 주의 하세요.

사용자 에이전트는 어떻게 정의하나요?

크롤링 명령을 내릴 봇의 이름을 지정합니다. 지시어를 제공할 봇의 이름을 지정합니다.

모든 크롤러가 일부 콘텐츠에 액세스하지 못하도록 차단하거나 허용하려면 (*)를 사용합니다.

User-agent: *

Google만 페이지를 크롤링하도록 허용하려면 다음을 사용하세요:

User-agent: Googlebot

각 검색 엔진에는 이름이 다를 수 있는 자체 봇이 있다는 점에 유의하세요. 예를 들어, Naver의 봇은 예티(Yeti)입니다. Google에는 다양한 목적을 위한 여러 봇이 있습니다:

Robots.txt 구문

robots.txt 구문은 지시문, 매개변수 및 특수 문자로 구성됩니다. 제대로 작동하려면 다음 규칙을 따르세요:

1. 각 지시문은 한 줄에 하나의 매개변수만 사용하여 새 줄에서 시작해야 합니다.

User-agent: * 
Disallow: /folder1/ 
Disallow: /folder2/

2. Robots.txt는 대소문자를 구분합니다. 폴더 이름의 대소문자를 정확히 일치시켜야 합니다.

Correct

Disallow: /folder/

실제 폴더 이름이 소문자인 경우 잘못됨

Disallow: /Folder/

3. 따옴표, 줄의 시작 부분에 공백 또는 줄 뒤에 세미콜론을 사용하지 마세요.

Disallow: /folder1/; 
Disallow: /“folder2”/
Disallow: /folder1/
Disallow: /folder2/

참고 문서

robots.txt 파일에 대한 자세한 내용은 다음을 참조하세요: