자유 그리고 경험

네이버 서치콘솔의 경우 자동수집이 거의 안되어서 일일히 수집 요청을 해야 했습니다. 단순히 네이버 크롤러의 티스토리에 대한 배척이라고 생각해서 네이버에서만 요청을 했습니다. 구글 서치어드바이저는 똑똑하니까 sitemap만 등록해도 거기에 있는 링크들을 알아서 크롤링 할거라고 생각하고, sitemap.xml과 rss 페이지만 색인생성 요청하고 목이 빠지게 확인 했습니다. 이것만 해도 1주 정도는 걸리는 것 같더라구요. 그런데 그렇게 sitemap 색인을 한지 한참이 지나도 추가 색인이 없는 것 같습니다.(sitemap 최종 크롤링을 한지 1주일이 지났네요) 15번 글을 쓴 게 아직도 색인 생성이 안되다니요! 그래서 오늘은 시간이 잠깐 난 김에 크롤링 요청을 1부터 올라가면서 해줬습니다. 중간중간 크롤링이 ..