매타 태그1 [A.A.F 이사 시리즈] 구글에서 검색되도록 메타 태그 등록을 이용하여 크롤링 허용, 차단하는 법 안녕하세요. 현재 블로그 이사 중인 azunyaa입니다. 이번에는 블로그가 다른 검색엔진에서 검색되게 허용해 볼 겁니다. 검색엔진은 어떻게 내 블로그를 찾을까? 기본적으로 검색엔진은 크롤링이라는 행위로 웹사이트를 수집합니다. 크롤링이란? 웹페이지를 가져와 데이터를 추출하는 행위를 뜻한다. 검색엔진은 이를 끊임없이 돌려서 정보를 찾아 종합하는 행위를 반복하는데 이때 사용되는 지능 에이전트를 크롤링 봇이라고 한다. 네이버는 Yeti, 다음은 Daumoa, 구글은 Googlebot이라는 이름의 크롤링 봇을 사용합니다. 저는 네이버는 제 티스토리를 검색하지 못했으면 좋겠고 구글은 제 블로그를 수집해 갔으면 하니까 Yeti를 막고 Googlebot을 허용할 겁니다. 그리고 이러한 규칙은 매타 태그 등록이라는 기능.. 2021. 3. 5. 이전 1 다음
