봇 (1) 썸네일형 리스트형 [ robots.txt 설정] 네이버 [naver], 구글 [google] robots.txt 설정하기- 안녕하세요. 오늘은 robot.txt 설정방법에 대해서 알아보겠습니다~ robots.txt 란? robots.txt는 웹사이트에 웹 크롤러같은 로봇들의 접근을 제어하기 위한 규약이다. 아직 권고안이라 꼭 지킬 의무는 없다. 크롤러들은 주로 검색엔진들의 인덱싱 목적으로 사용되는데, 웹사이트들 입장에서도 더 많은 검색 노출을 원하는게 일반적이므로 딱히 막을 이유는 없다. 출처: 나무위키 작성방법 모든 로봇에게 문서 접근을 허락 User-agent: * Allow: / 모든 로봇을 차단 User-agent: * Disallow: / 모든 로봇에 특정 디렉토리 접근을 차단 User-agent: * Disallow: /admin/ Disallow: /tmp/ 모든 로봇에 특정 파일 접근을 차단 User-agent.. 이전 1 다음
