사이트 운영 Google Search Console 에서 robots.txt 차단 메시지 해결하는 방법

블로그

사이트 운영 Google Search Console 에서 robots.txt 차단 메시지 해결하는 방법

 

환경: Chrome

 

얼마전 Google Search Console 에서 구글 메일로 경고가 날아 왔습니다. 구글검색 엔진이 당신 사이트를 조회하다 보니 특정 URL 이 차단되었다는 내용입니다. 메일 내용에 나와 있는 robots.txt 가 무엇이며, 어떻게 차단을 해제하는지 알아보겠습니다.

 

구글로부터 다음과 같은 메일이 왔습니다. 당신의 사이트에서 설정한 robots.txt 파일의 설정값으로 인해 특정 URL 이 차단되었으며, 검색 결과에 영향을 줄 수 있다는 경고입니다. 어떤 주소가 차단되었는지 확인하기 위해 적용 범위 문제 해결하기 버튼을 클릭합니다.

사이트 운영 Google Search Console 에서 robots.txt 차단 메시지 해결하는 방법

 

구글 Search Console 사이트로 이동해서 차단 URL 목록을 확인합니다. 그런데 일반 포스팅 주소와 달리 http://mainia.tistory.com/like ~~~ 처럼 like 가 붙어 있네요

사이트 운영 Google Search Console 에서 robots.txt 차단 메시지 해결하는 방법

 

주소를 클릭하면 오른쪽 사이드에 URL 검사와 ROBOTS.TXT 파일에서 어떤 항목때문에 차단되었는지 테스트해 볼 수 있습니다. ROBOTS.TXT 차단 테스트를 클릭합니다

사이트 운영 Google Search Console 에서 robots.txt 차단 메시지 해결하는 방법

 

그림처럼 구글 콘솔에서는 robots.txt 파일에서 어떤 항목 때문에 차단되었는지 테스트해서 알려 줍니다. 뒤에 /like 가 붙은 주소는 모두 차단 하는 걸로 되어 있네요

사이트 운영 Google Search Console 에서 robots.txt 차단 메시지 해결하는 방법

 

Robots.txt 파일은 검색엔진이 사이트 정보를 가져갈 때 허용/차단을 설정할 수 있는 곳입니다. 티스토리를 운용한다면 브라우저에 자신의 블로그 주소와 robots.txt 를 입력해 보세요. 어떤 설정들이 들어가 있는지 확인할 수 있습니다. 옵션에서 Disallow 가 차단을 의미합니다. 그리고 Allow 가 접근 허용을 말합니다. 문제를 해결하려면 Disallow: /like 를 삭제해야 합니다. 하지만 티스토리는 카카오에서 추가한 공통설정으로 수정이 불가합니다

사이트 운영 Google Search Console 에서 robots.txt 차단 메시지 해결하는 방법


결론은 다음과 같습니다. 설치형 블로그가 아닌 서비스형 블로그인 경우 robots.txt 를 수정할 수 없습니다. 구글에서 메일이 와도 그대로 둬야 합니다. 프로그램 내부에서 외부에 공개할 수 없는 내용들을 관리자가 robots.txt 파일로 막아 놓았기 때문입니다. 하지만 워드프레스, XE 같은 설치형 블로그는 수정이 가능합니다. 차단 원인을 Google Console에서 찾아 삭제해 주시기 바랍니다

Posted by 녹두장군

댓글을 달아 주세요