[ robots.txt 설정] 네이버 [naver], 구글 [google] robots.txt 설정하기-

안녕하세요.  

오늘은 robot.txt 설정방법에 대해서 알아보겠습니다~

 

robots.txt 란?

 

robots.txt는 웹사이트에 웹 크롤러같은 로봇들의 접근을 제어하기 위한 규약이다. 아직 권고안이라 꼭 지킬 의무는 없다.

크롤러들은 주로 검색엔진들의 인덱싱 목적으로 사용되는데, 웹사이트들 입장에서도 더 많은 검색 노출을 원하는게 일반적이므로 딱히 막을 이유는 없다.

출처: 나무위키

 

 

작성방법

 

모든 로봇에게 문서 접근을 허락

 

User-agent: *
Allow: /

 

모든 로봇을 차단

User-agent: *
Disallow: /

 

모든 로봇에 특정 디렉토리 접근을 차단

User-agent: *
Disallow: /admin/
Disallow: /tmp/

 

 

 

모든 로봇에 특정 파일 접근을 차단

User-agent: *
Disallow: /admin/admin_file.html

 

 

 

Yeti(네이버) 로봇에 모든 파일 접근을 차단

User-agent: Yeti
Disallow: /

 

 

 

Yeti(네이버)와 Googlebot(구글) 로봇에 특정 디렉토리 접근 차단

User-agent: Yeti
User-agent: Googlebot
Disallow: /private/

 

 

이를 이용하여 다양하게 조합이 가능합니다. 저 같은 경우는

User-Agent : *
Disallow : /
User-Agent : Googlebot
User-Agent : Yeti
User-Agent : Daumoa
Allow : /
Disallow: /admin/

 

Yeti(네이버), Googlebot(구글), Daumoa(다음) 이외의 모든 로봇은 접근을 차단하고,

관리자 경로인 "admin" 디렉토리는 접근을 차단. 으로 사용하였습니다.

 

 

본인이 원하시는대로 코딩을 해서 txt 파일로 만들어주세요~

 

 

업로드 방법

 

자 이제 사이트에 업로드 하는 방법을 알아 보도록 하겠습니다.

 

아래 처럼 경로의 최상단(WEB-INF)에 robots.txt 파일 넣어주시면 됩니다.

 

 

 

본인의 도메인/robots.txt를 입력해서 잘 들어가지는지 확인해보면 됩니다!

 

자 이렇게 접속이 되면 robots.txt 업로드까지 완료입니다!

 

추가적으로 네이버 웹마스터 도구를 이용해서 확인하는 방법도 있습니다.

 

아래와 같이 수집요청을 눌러서 본인이 입력하신 robots.txt가 뜬다면 완료입니다!