답답해서 서치콘솔에 직접 색인 요청

네이버 서치콘솔의 경우 자동수집이 거의 안되어서 일일히 수집 요청을 해야 했습니다.

네이버 서치어드바이저 일일히 크롤링 요청

단순히 네이버 크롤러의 티스토리에 대한 배척이라고 생각해서 네이버에서만 요청을 했습니다. 구글 서치어드바이저는 똑똑하니까 sitemap만 등록해도 거기에 있는 링크들을 알아서 크롤링 할거라고 생각하고, sitemap.xml과 rss 페이지만 색인생성 요청하고 목이 빠지게 확인 했습니다. 이것만 해도 1주 정도는 걸리는 것 같더라구요.

그런데 그렇게 sitemap 색인을 한지 한참이 지나도 추가 색인이 없는 것 같습니다.(sitemap 최종 크롤링을 한지 1주일이 지났네요)

한달이 지나도 크롤링되지 않는 페이지

15번 글을 쓴 게 아직도 색인 생성이 안되다니요!

 

그래서 오늘은 시간이 잠깐 난 김에 크롤링 요청을 1부터 올라가면서 해줬습니다. 중간중간 크롤링이 된 글들도 있더라구요. 이런 글들은 어떤 원리로 미리 크롤링이 된 것인지.. 이렇게 중간만 크롤링 된 이유를 찾기 위해서 검색을 해봤는데 블로그 등 개설 초기에는 신뢰도가 낮아서 크롤링 속도가 낮을 수 있다고 하더라구요.

 

초반에 하시는 분들은 이렇게 일일히 해주시는 것도 좋을 것 같습니다.

크롤링 요청을 하다보니 요청 일일 할당량이 있는 걸 알게 되었습니다. 

구글 색인 요청 할당량

할당량이 일일 15개 내외 정도 되는 것 같습니다. 몰아서 요청하는 것보다 그때 그때 요청하거나 주말에 몰아서 요청하는 것이 좋을 것 같습니다.

 

제 개인적인 생각으로는, 보통의 사이트에서는 sitemap을 한 번 만들어놓고 업데이트하는 경우가 적기 때문에, 구글도 sitemap의 변화를 크롤링 하는 주기가 길 것 같습니다. 따라서 컨텐츠를 쓸 때마다 색인요청을 새로 하는 것이 구글이 자동 색인 하는 걸 기다리는 것보다 훨씬 빠르지 않을까 합니다.

 

애드센스가 승인되고 포스팅이 200개 정도가 넘어갈 때 다시 자연적인 크롤링을 실험해보기로 하고, 저는 그 전까지는 이렇게 수동으로 색인 요청을 할 것 같습니다.