페이지 색인을 막는 robot.txt

구글서치콘솔팀에서 메일이 하나 왔다.

페이지 색인이 생성되지 않는 이유

색인이 계속 안 되길래 기다리면 되려나 했더니, robots.txt에 의해 차단되었다고 한다. 네이버 사이트에 등록하려면 robots.txt를 만들어야 하는데 이게 꼬일 수 있다는 '카더라'가 있고 귀찮기도 해서 안 만들었는데 저게 있다니 뭐지 싶다.

아래 보이는 색인 생성 보고서 열기로 들어가 보니 자동으로 구글서치콘솔로 연결되었다.

14개 중 10개가 색인이 생성되지 않았다.

이게 뭐야. 14개 중 10개나 생성되지 않았다니! 티스토리 자체에 이런 게 있었던가? 오랜만에 세팅하니 이상한 걸로 신경 쓰이게 하니 골 아프다.
침착하게 데이터를 데이터를 봐야겠다.

10개중 다행히(?) 3개만 차단됨

색인이 없는 10개 중 아직까진 3개만 차단되었다. 이거 빨리 해결하지 않으면 안 되겠다.
유효성 검사를 해봐야 하는데 뭐가 막혔는지 사유 부분을 클릭하면 알 수 있다.

차단되었다는 페이지

차단된 페이지를 보았다. 큼큼.
manage 페이지는 티스토리 관리 페이지다. 저건 오픈 안 되는 게 맞지 않나?
manage/entry/post는 새 글 쓰기다. 저것도 무시 가능하다.
search/{search_term_string}은 뭔진 모르겠지만 pipemaker 블로그 내에서 검색하는 것이던지 아니면 검색어나 키워드, 태그 같은 게 저장된 페이지인 것 같다. (뇌피셜이다!!)
그래서 차단된 3개는 그냥 무시해도 괜찮겠다!

아우 놀래라.