검색엔진이 긁어가는 것 막기 (robots.txt 이용)
개인 정보보호 등을 위해 검색엔진이 긁어가는 것을 막는 법입니다.
먼저 여기를 클릭하여 메모장을 여세요.
① 위와 같이 하여 robots.txt 이름으로 저장합니다.
위 내용을 설명하자면 모든 검색엔진이 긁어가는 것을 막는 겁니다.
User-agent: * *은 모든 검색엔진을 뜻함.
Disallow: / /는 모든 디렉토리
[ robots.txt 상세 옵션 설명]
User-agent: * |
모든 검색엔진이 긁어가는 것 모두 막기 |
User-agent: * Disallow: |
모두 허용하기 |
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/ |
cgi-bin 디렉토리, tmp 디렉토리, private 디렉토리 긁어가는 것만 막기 |
User-agent: BadBot Disallow: / |
배드봇 검색로봇만 긁어가기 제외 |
User-agent: WebCrawler Disallow: |
웹크롤러 검색로봇만 긁어가기 허락 |
② robots.txt 파일을 ftp로 올립니다. 최상위 디렉토리에 올려야합니다.
예) http://www.tagin.net/robots.txt ( O )
http://www.tagin.net/test/robots.txt ( X )
* robots.txt 유의사항
1. 사이트는 하나의 "robots.txt" 만을 가질 수 있다
2. "robots.txt" 문자열은 모두 소문자이어야 하며, 공백은 허용 되지 않는다.
3. 최상위 디렉토리의 robots.txt만 읽는다. (다른 디렉토리의 robots.txt는 아무소용이없다)
이 방법 외에도 html 페이지에 메타 태그를 써서 검색엔진을 막을 수 있습니다. |
유의할 점은 위와 같은 방법이 모든 검색엔진을 완전 차단하진 못한다는 걸 염두해두세요.
자세한 사항은 http://www.robotstxt.org/ 참고하시길 바랍니다.
'WEB언어' 카테고리의 다른 글
HTTP charset parameter 값 처리 (0) | 2010.09.03 |
---|---|
모바일 User-Agent로 변환하는 Firefox PlugIn (0) | 2010.06.11 |
위지윅(WYSIWYG)편집기 ( htmlarea.com ) (0) | 2010.01.08 |
인터넷 브라우저 사용추이 (2009-10-05) (0) | 2009.10.06 |
[Flash&Flex] flex video player 구글코드(GNU) (0) | 2009.06.02 |
[Flash&Flex] JW FLV Media Player (flv플레이어) (0) | 2009.04.14 |
[Flash&Flex] fcsh.exe, Flex 3 Compiler Shell (0) | 2009.01.08 |
[PHP]euc-kr 문자셋 서버에서 utf-8 urlencode하기 (1) | 2008.11.03 |
(로그인하지 않으셔도 가능)