Skip to content

robots.txt 관련 Tip.

Tip 조회 수 9538 추천 수 0 2013.05.30 01:12:35

구글 로봇이나 구글 이미지 로봇,구글 모바일웹 로봇 등 구글에서만도 상당수의 봇이 사이트의 게시물를 긁어가는데요


이때 발생되는 트래픽이 어마어마(!)하게 느껴질때가 있습니다.


물론, 게시물를 많이 가져가면 갈수록 SEO 에 좋긴 하겠지만, 일반적인 서민들이 운영하는 개인홈페이지에서는 쥐약일수도 있죠.


헌데, robots.txt 작성을 통해


User-agent:Googlebot-Image

Disallow: /


이런식으로 차단하거나, 혹은 아래와 같이 특정봇을 차단하고 나머지 봇에 대한 접근 금지 폴더를 정해주기도 하죠.


User-agent:bingbot
Disallow: /
User-agent:msnbot
Disallow: /
User-agent:Googlebot-Image
Disallow: /
User-agent: *
Disallow: /adm/
Allow: /


헌데,이러한 방법들이 검색엔진최적화 [search engine optimization, SEO]에 좋지 않은 영향을 미친다고 하네요.


그래서, 프로그램단에서 처리를 할수 있지 않을까 했습니다. 아래처럼 말이죠.(참조)


<?
// robots
function isRobots()
{
$is_robot == false;
$robot_array = array('Yeti','cowbot','psbot','bingbot','msnbot','Slupr','YATS crawler','Yahoo! Slurp','Daumoa','EtaoSpider','Sosospider','libcurl','Python-urllib');
foreach($robot_array as $robot)
{
$is_robot = strpos($_SERVER['HTTP_USER_AGENT'], $robot);
if($is_robot !== false) {
return true;
}
}
return false;
}
?>



profile

I see no changes, wake up in the morning and I ask myself

Is life worth living should I blast myself

Things would never be the same.

태그
엮인글 :
http://adminplay.com/205939/580/trackback
List of Articles
번호 제목 글쓴이 날짜 조회 수
47 Tip IE 버그와 해결책들 l2zeo 2013-07-03 8098
46 Tip IE css핵 (css hack)과 IE filter file [1] l2zeo 2013-07-03 14570
45 Tip 그누보드 패밀리사이트에서 회원가입연동 l2zeo 2013-05-31 5938
» Tip robots.txt 관련 Tip. l2zeo 2013-05-30 9538
43 Tip jquery 관련 l2zeo 2013-05-26 6377
42 Tip Cascading Style Sheets (자바스크립트 style 객체) l2zeo 2013-04-25 6290
41 Tip 스토리보드 이제 쉬워졌어요~~ PowerMockUp 소개 해 봅니다.^^ file l2zeo 2013-03-18 6803
40 Tip 웹 서비스 구현시 캐시 구현을 남발해서는 안되는 이유? l2zeo 2013-03-18 6601
39 Tip 포인트가 마이너스일때 = 포인트 마이너스 회원들 포인트를 0으로 ... l2zeo 2013-03-15 10070
38 Tip 일정 포인트 이상은 적립안되게 하기 l2zeo 2013-03-15 5095
37 Tip CSS shorthand properties (단축 속성) [1] l2zeo 2013-02-26 5391
36 Tip 마우스 오버할때 아이디 안보이게 하기 file l2zeo 2013-02-03 5796
35 Tip 모바일에서도 이미지 리사이징 기능 적용하기 l2zeo 2013-01-24 54334
34 Tip 모바일에서 동영상 크기 지정해서 보여줄때. l2zeo 2013-01-24 6930
33 Tip 썸네일 생성이 되지 않을때 확인할것 file l2zeo 2013-01-24 7473
32 Tip Mini Help System with jQuery file [1] l2zeo 2013-01-23 5650
31 Tip CSS3 를 이용한 툴팁(Tooltip) 표시 [1] l2zeo 2013-01-23 6087
30 Tip [caching tip] js, css 캐싱 팁 l2zeo 2013-01-23 5371
29 Tip 페이스북 담벼락에 자동 게시하는 법 l2zeo 2013-01-23 9640
28 Tip [Lazy Load Plugin for jQuery] 효율적인 이미지 로딩 file l2zeo 2013-01-23 10248

Copyright ADMINPLAY corp. All rights reserved.

abcXYZ, 세종대왕,1234

abcXYZ, 세종대왕,1234