[A.A.F 이사 시리즈] 구글에서 검색되도록 메타 태그 등록을 이용하여 크롤링 허용, 차단하는 법

안녕하세요.

현재 블로그 이사 중인 azunyaa입니다.

이번에는 블로그가 다른 검색엔진에서 검색되게 허용해 볼 겁니다.

 

검색엔진은 어떻게 내 블로그를 찾을까?

기본적으로 검색엔진은 크롤링이라는 행위로 웹사이트를 수집합니다.

 

direct submit

 

크롤링이란?
웹페이지를 가져와 데이터를 추출하는 행위를 뜻한다. 검색엔진은 이를 끊임없이 돌려서 정보를 찾아 종합하는 행위를 반복하는데 이때 사용되는 지능 에이전트를 크롤링 봇이라고 한다.

네이버는 Yeti, 다음은 Daumoa, 구글은 Googlebot이라는 이름의 크롤링 봇을 사용합니다. 저는 네이버는 제 티스토리를 검색하지 못했으면 좋겠고 구글은 제 블로그를 수집해 갔으면 하니까 Yeti를 막고 Googlebot을 허용할 겁니다. 

그리고 이러한 규칙은 매타 태그 등록이라는 기능을 사용하면 됩니다.

---

매타 태그 등록?

티스토리는 블로그의 html을 수정할 수 있는데요. 각 html은 스킨에 종속되어 있기 때문에 스킨을 바꾸면 다시 설정해줘야 합니다. 매타 태그란 계정에 종속되어 있어 스킨이 바뀌어도 태그를 추가할 수 있는 기능입니다.

 

1. 일단 블로그 관리자 화면에서 플러그인을 클릭합니다.

 

 

2. 매타 태그 등록을 선택합니다.

 

 

3. 매타 태그를 적습니다.

 

<meta name="크롤링봇"content="인덱스, 팔로우">

 

크롤링 봇이라고 적힌 부분에 제어하고 싶은 크롤링 봇의 이름이

인덱스와 팔로우에는 허용하려면 "index, follow", 차단하려면 "noindex, nofollow"가 html에 추가되어야 합니다.

 

 

다음과 같이 치면 네이버 봇이 제 블로그를 크롤링하는 것을 막는 것이죠.

저장을 하고 블로그에서 F12를 눌러 html에서 헤더를 확인하면

 

 

이렇게 추가되어 있습니다.

 

---

마무리 및  추가

이 방법은 어디까지나 크롤링 봇이 내 블로그를 찾는 것을 허용하거나 막는 것이지 찾게 유도할 수 있는 것은 아닙니다. 검색엔진에서 잘 노출되기 위해서는 사이트맵과 rss를 검색엔진에 제출해야 합니다. 그리고 이는 다음 글에 다룰 예정이니 블로그 이사하시는 분들은 참고해주세요.