robots.txt를 현명하게 사용하는 방법

검색엔진은 자신의 사이트를 많은 사람에게 알릴 수 있는 가장 좋은 방법 중 하나입니다. 이를 활용하기에 앞서 고려해야 할 것은 여러분들의 사이트에 있는 정보를 얼마 만큼 외부에 제공할 것인가를 설정하는 일입니다.

만약 여러분의 사이트에 검색엔진을 통해 색인이 생성되지 않도록 하려는 콘텐츠가 있다면, robots.txt 파일을 사용하여 웹을 색인하는 검색엔진 로봇(이하 "검색봇")을 차단하거나 필요한 부분만을 검색엔진에 나타나게 할 수 있습니다. 검색봇은 자동으로 작동하며, 한 사이트의 하위 페이지에 접근하기 전에 먼저 특정 페이지에 대한 접근을 차단하는 robots.txt 파일이 있는지 여부를 확인합니다. 이번 기회를 통하여 여러분들에게 올바르게 robots.txt를 사용하는 방법을 제공하고자 합니다.

robots.txt 의 배치

robots.txt는 HTML 파일이 아닌 일반 텍스트 파일로 도메인의 root에 있어야 하며 반드시 'robots.txt'로 저장되야 합니다. 검색봇은 도메인의 root에 있는 robots.txt 파일만을 체크하기 때문에 하위 디렉토리에 있는 파일은 유효하지 않습니다.

예를 들어 http://www.example.com/robots.txt는 유효한 위치이지만, http://www.example.com/mysite/robots.txt는 유효하지 않습니다.

robots.txt 사용 예제:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~name/

robots.txt 파일을 사용하여 전체 웹사이트를 허용/차단하기

전체 웹사아트를 검색엔진이 색인하도록 허용하고자 할 때에는 다음과 같이 robots.txt 파일을 추가합니다.
User-agnet: *
Disallow:
또 다른 해결 방법으로는 단순하게 robots.txt를 사이트로부터 제거 하는 것입니다.

검색엔진에서 사이트를 삭제하고 향후 어떤 검색봇도 접근하지 못하게 하려면 robots.txt 파일에 다음 내용을 추가합니다.
User-agent: *
Disallow: /
주의) 이 경우 검색봇이 차단되어 사이트가 더이상 검색엔진에 나타나지 않게 됨으로 검색엔진을 통해 들어오게 되는 사용자들에게 불이익을 제공하게 됩니다.

각 포트에는 전용 robots.txt 파일이 있어야 합니다. 특히 http와 https 모두를 통해 사용자들에게 콘텐츠를 제공하려면 이 두 가지 프로토콜에 대해 각각의 robots.txt 파일이 있어야 합니다.

예를 들어 검색봇을 통해 https 페이지를 제외한 모든 http 페이지에 대한 수집을 허용하려면 다음 robots.txt 파일들을 각각의 프로토콜에 사용해야 합니다.

http 프로토콜의 경우 (http://yourserver.co.kr/robots.txt):	https 프로토콜의 경우 (https://yourserver.co.kr/robots.txt):
User-agent: * DIsallow:	User-agent: * Disallow: /

robots.txt 파일을 사용하여 페이지 차단하기

예를 들어, 검색봇이 특정 디렉토리(예: board )의 모든 페이지를 검색하지 않도록 차단하려면 다음과 같이 robots.txt를 사용 하시면 됩니다.
User-agent: *
Disallow: /board/

Googlebot이 특정 형식(예: .gif)의 파일을 모두 검색하지 않도록 차단하려면 다음과 같이 robots.txt를 사용 하시면 됩니다.
User-Agent: Googlebot
Disallow: /*.gif$

Googlebot이 ‘?’가 포함된 URL 즉, 도메인 이름으로 시작되거나 임의의 문자열 또는 물음표로 구성된URL 검색을 차단하려면 다음과 같이 하시면 됩니다.
User-agent: Googlebot
Disallow: /*?

구글은 웹마스터 도구의 일원으로 robots.txt 분석 도구를 사용자들에게 제공하고 있습니다. robots.txt 분석도구는 여러분의 robots.txt 화일을 검색봇이 읽는 그대로 인식하여 그 결과를 여러분들께 제공하고 있습니다. robots.txt의 올바른 사용으로 사이트 방문자들에게 보다 쉬운 접근 방법을 제공하는 동시에 필요한 부분을 보호, 차단할 수 있기 바랍니다.

출처 : http://feeds.feedburner.com/~r/blogspot/vCGH/~3/262409056/robotstxt.html