사이트 운영 Google Search Console 에서 robots.txt 차단 메시지 해결하는 방법

사이트 운영 Google Search Console 에서 robots.txt 차단 메시지 해결하는 방법

 

환경: Chrome

 

얼마전 Google Search Console 에서 구글 메일로 경고가 날아 왔습니다. 구글검색 엔진이 당신 사이트를 조회하다 보니 특정 URL 이 차단되었다는 내용입니다. 메일 내용에 나와 있는 robots.txt 가 무엇이며, 어떻게 차단을 해제하는지 알아보겠습니다.

 

▼ 구글로부터 다음과 같은 메일이 왔습니다. 당신의 사이트에서 설정한 robots.txt 파일의 설정값으로 인해 특정 URL 이 차단되었으며, 검색 결과에 영향을 줄 수 있다는 경고입니다. 어떤 주소가 차단되었는지 확인하기 위해 적용 범위 문제 해결하기 버튼을 클릭합니다.

 

▼ 구글 Search Console 사이트로 이동해서 차단 URL 목록을 확인합니다. 그런데 일반 포스팅 주소와 달리 http://mainia.tistory.com/like ~~~ 처럼 like 가 붙어 있네요. 

 

▼ 주소를 클릭하면 오른쪽 사이드에 URL 검사와 ROBOTS.TXT 파일에서 어떤 항목때문에 차단되었는지 테스트해 볼 수 있습니다. ROBOTS.TXT 차단 테스트를 클릭합니다. 

 

▼ 그림처럼 구글 콘솔에서는 robots.txt 파일에서 어떤 항목 때문에 차단되었는지 테스트해서 알려 줍니다. 뒤에 /like 가 붙은 주소는 모두 차단 하는 걸로 되어 있네요. 

 

▼ Robots.txt 파일은 검색엔진이 사이트 정보를 가져갈 때 허용/차단을 설정할 수 있는 곳입니다. 티스토리를 운용한다면 브라우저에 자신의 블로그 주소와 robots.txt 를 입력해 보세요. 어떤 설정들이 들어가 있는지 확인할 수 있습니다. 옵션에서 Disallow 가 차단을 의미합니다. 그리고 Allow 가 접근 허용을 말합니다. 문제를 해결하려면 Disallow: /like 를 삭제해야 합니다. 하지만 티스토리는 카카오에서 추가한 공통설정으로 수정이 불가합니다. 

▼ 결론은 다음과 같습니다. 설치형 블로그가 아닌 서비스형 블로그인 경우 robots.txt 를 수정할 수 없습니다. 구글에서 메일이 와도 그대로 둬야 합니다. 프로그램 내부에서 외부에 공개할 수 없는 내용들을 관리자가 robots.txt 파일로 막아 놓았기 때문입니다. 하지만 워드프레스, XE 같은 설치형 블로그는 수정이 가능합니다. 차단 원인을 Google Console에서 찾아 삭제해 주시기 바랍니다.