크롤링2 [A.A.F 이사 시리즈] 구글에서 검색되도록 메타 태그 등록을 이용하여 크롤링 허용, 차단하는 법 안녕하세요. 현재 블로그 이사 중인 azunyaa입니다. 이번에는 블로그가 다른 검색엔진에서 검색되게 허용해 볼 겁니다. 검색엔진은 어떻게 내 블로그를 찾을까? 기본적으로 검색엔진은 크롤링이라는 행위로 웹사이트를 수집합니다. 크롤링이란? 웹페이지를 가져와 데이터를 추출하는 행위를 뜻한다. 검색엔진은 이를 끊임없이 돌려서 정보를 찾아 종합하는 행위를 반복하는데 이때 사용되는 지능 에이전트를 크롤링 봇이라고 한다. 네이버는 Yeti, 다음은 Daumoa, 구글은 Googlebot이라는 이름의 크롤링 봇을 사용합니다. 저는 네이버는 제 티스토리를 검색하지 못했으면 좋겠고 구글은 제 블로그를 수집해 갔으면 하니까 Yeti를 막고 Googlebot을 허용할 겁니다. 그리고 이러한 규칙은 매타 태그 등록이라는 기능.. 2021. 3. 5. [A.A.F 이사 시리즈] 네이버 블로그와 티스토리 동시 운영 시 주의사항 네이버 블로그를 떠나는 이유 애드 포스트 3.0과 2.0이 호환되지 않고 직접 블로그의 html과 css를 수정할 수 없어 꾸미기에도 제한이 있는 네이버 블로그... 그럼에도 계속 사용했던 이유는 작년 기준 국내 검색엔진 점유율의 약 60%가 네이버였기 때문이었습니다. 하지만 실시간 검색어 폐지 이후 줄어든 네이버 검색량의 대부분이 구글에 먹힌 것을 확인할 수 있고 이는 다음도 마찬가지... 부랴부랴 새로운 플랫폼을 찾을 필요성을 느꼈습니다. 네이버 블로그, 티스토리, 워드프레스 등등... 일단 다른 블로그 플랫폼으로 넘어가기 위해서는 각 플랫폼의 장단점을 비교할 필요가 있죠. 여러 플랫폼을 알아본 결과 저는 지금 쓰고 있는 티스토리로 넘어오기로 결정했습니다. 각 플랫폼을 간단하게 정리해보면 Naver .. 2021. 3. 5. 이전 1 다음
