구글은 사이트 웹 문서를 자동으로 크롤링 하여 색인 후 검색 노출하지만 간혹 색인에서 제외되어 검색에서 누락되는 경우가 있습니다. 물론 문제가 있는 웹 문서 일 수 있고 아닐 수 있지만 사이트맵 핑 전송으로 전체 웹 문서를 크롤링 요청할 수 있습니다.
워드프레스, 그누보드, 제로보드 등 다양한 플랫폼에서 SEO 사이트맵 플러그인을 제공하지만 핑 전송을 해주는 경우도 있으나 직접 구글에 사이트맵 핑 전송할 수 있습니다.
Google에 사이트맵 제출 – Google 검색 센터
Google 검색 센터에서는 사이트맵 제출 시 업데이트된 문서가 확인 시 크롤링 시작됩니다.
※ Google 에서 웹 문서를 크롤링 한다고 해도 검색 노출된다는 보장이 없을 수 있으니 참고하시기 바랍니다.
구글 검색 크롤링 색인 제외 문서량 확인
구글 site 검색 명령어로 검색결과 몇 개의 문서가 노출되는지 확인할 수 있습니다.
구글 서치 콘솔에서도 더 자세하게 색인 생성 범위를 확인할 수 있습니다.
구글 사이트맵 핑 전송, 크롤링 요청
구글 사이트맵 핑 전송하여 사이트맵의 전체 URL을 지정하여 크롤링을 요청합니다.
예) https://www.google.com/ping?sitemap=https://itons.net/sitemap_index.xml
관련 글
워드프레스를 포함한 다양한 플랫폼에서 robots.txt 파일을 만들거나 어떻게 관리하고 최적화하는지 추가적인 팁 들은 관련 글을 참고하시기 바랍니다.