목요일, 5월 13, 2021
Home워드프레스 robots.txt 파일 만들기, 최적화

워드프레스 robots.txt 파일 만들기, 최적화

워드프레스 사이트를 운영하면 robots.txt 파일이 없어도 검색 엔진이 알아서 크롤링 해 색인하지만 robots.txt 파일을 만들어주는 게 최적화 작업 중 기본입니다. robots.txt 파일을 참조하여 검색 엔진 크롤러(봇)가 웹 페이지 수집 시 참고하기 때문입니다.

robots.txt 파일 위치

robots.txt 파일은 아래와 같이 도메인 최상위 도메인 루트 디렉터리에 위치해야 합니다.

예) https://도메인/robots.txt

아래 화면은 파일질라 FTP 프로그램으로 접속한 워드프레스 루트 디렉터리입니다.

워드프레스 robots.txt 파일 위치

robots 파일 만들기 – 규칙

robots.txt 파일은 아주 쉽고 간단한 형식으로 만들 수 있습니다.

어려운 프로토콜 및 규칙이 없기 때문에 알고 보면 쉬운 규칙을 가지고 있습니다.

User-agent검색 엔진 로봇 이름으로 * 를 붙이면 모든 검색 엔진 로봇을 말합니다.

User-agent: *

예를들어 네이버 검색 로봇 이름은 다음과 같습니다.

User-agent: Yeti

모든 검색엔진의 로봇에 대해 웹 문서 수집 및 색인 허용합니다.

User-agent: *
Allow: /

혹은 Disallow 명령어에 / 경로가 없어도 수집 및 색인을 허용합니다.

User-agent: *
Disallow:

Disallow 명령어에 / 경로를 붙이면 모든 웹문서 수집 및 색인을 허용하지 않습니다.

User-agent: *
Disallow: /

특정 폴더 색인을 허용하지 않습니다.

User-agent: *
Disallow: /sfolder/

특정 파일을 제외하여 폴더 색인을 허용하지 않습니다.

User-agent: *
Disallow: /sfolder/
Allow: /sfolder/sample.html

사이트맵을 지정합니다. 사이트맵은 xml 파일이며 여러 개 추가 가능합니다. 검색로봇이 사이트의 콘텐츠를 더 잘 수집할 수 있도록 도와줄 수 있습니다.

사이트맵은 네이버 서치 어드바이저나 구글 서치 콘솔 등 웹마스터에 등록되어 있다면 굳이 작성하지 않아도 됩니다.

User-agent: *
Sitemap: https://sample.com/sitemap.xml // 실제 사이트맵 주소로 교체하세요.

워드프레스 기본 robots.txt

워드프레스 기본 robots.txt 파일입니다. 꼭 정답은 아니지만 위에 설명드린 내용을 참고하셔서 작성하시거나 그냥 적용하셔도 됩니다.

User-Agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

워드프레스 루트 robots.txt 전송

워드프레스 루트 경로에 robots.txt 파일을 파일질라 FTP 프로그램 등으로 전송합니다.

이런 식으로 검색엔진 수집 및 색인을 제어할 수 있지만 더 확실한 방법은 robots 메타태그 index, noindex 를 활용하면 됩니다.

<head>
<meta name="robots" content="index"> // 색인 허용
<meta name="robots" content="noindex"> // 색인불허용
</head>

SEO 플러그인을 활용하신다면 robots 메타태그를 더 손쉽게 제어할 수 있습니다.

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Recent Posts

Archives