빙 웹마스터도구에서 티스토리 URL을 검사하거나 색인을 요청하면 403 Forbidden 오류가 발생한다. 티스토리 서버에서 빙 웹마스터도구의 크롤러봇인 빙봇의 접근을 제한한 오류인데 이것은 티스토리의 robots.txt 내용을 보면 이해할 수 있다. 빙봇의 무차별적 트래픽 발생을 막기 위한 티스토리의 조치이기도 하며, 색인화도구에서 403이 발생했다면 이미 빙봇이 다녀간 것일 수도 있다.
티스토리 빙 URL 검사 403 Forbidden 오류 방법 해결방법
빙 웹마스터도구에 티스토리 컨텐츠를 등록하여 색인을 요청 할 때 URL 검사 또는 라이브 URL 검사를 할 수 있다.
그런데, 구글 서치콘솔이나, 네이버 서치어드바이저에서는 정상적으로 색인요청이 될 때가 있지만 유독 빙 웹마스터도구에서는 403 Forbidden 오류가 발생한다.
여러가지 이유가 있겠지만 실제로 겪은 사례들을 찾아보면 한결같다.
이미 2017년도부터 발생한 것이기도 했고, 색인화가 실패했다고 해도 나중에 빙 웹마스터도구는 URL 을 다시 색인화 하려는 시도를 하는 것이다.
빙 웹마스터도구와 티스토리
네이버 블로그보다 어렵고 워드프레스 같은 웹사이트보다 수월한 것이 티스토리라고 하지만, 방문유입과 수익화를 위해선 다소 시간투자가 필요한 것도 사실이다.
그렇기에 검색엔진에 색인화 요청을 수동으로 수시로 요청하는 것은 당연할지도 모른다. 어느정도 트래픽이 쌓이지 전까지는 시간투자는 어쩔 수 없다.
다만, 빙 웹마스터도구는 빙봇이란 크롤러 로봇을 사용하며 티스토리를 색인화 등록하는 경우 URL 검사가 정상적이지 않을 때가 많다.
아마도 자주보는 문장이 있다면 4xx 오류를 반환했습니다. 또는 403 오류를 반환했습니다. 란 메세지일 것이다.
구체적인 오류번호인 403 에 대해 알아볼 필요가 있다.
Http 403 Forbidden
웹사이트를 운영하다보면 자주 겪는 문제이기도 하겠지만, 단순히 블로그만을 운영한다면 생소할 것이다.
403은 웹의 오류 상태코드이며, Forbidden 이란 단어를 찾아보면 다음과 같다.
- Forbidden / 금지된
예문 )
forbid 금지하다
forbidden fruit / 금단의 열매
forbidden game / 금지된 게임
Scribbing forbidden / 낙서 금지
사전적 의미를 찾아보면 Forbidden 은 금지된 이란 뜻이다.
그렇다면 403 Forbidden 오류를 반환했습니다. 란 것이 이해가 될 것이다.
IT에서 말하는 403 Fobidden 은 서버가 허용하지 않는 웹페이지를 사용자가 요청했을 때 발생한다라고 명시하고 있다.
즉, 어떤 원인이 있었는지 모르겠지만 티스토리 서버에서 색인 요청을 한 URL이 금지된 것을 말한다.
왜 ??
robots.txt 확인
티스토리의 robots.txt 파일을 확인해 보면 그 이유를 확인해 볼 수 있다.
robots.txt 확인은 자신의 티스토리주소/robots.txt 로 입력하면 확인이 가능하다.
https://티스토리주소/robots.txt
-----
확인결과)
User-agent: bingbot
Crawl-delay: 30모든 티스토리의 robots.txt 를 확인하면 위와 같은 것을 볼 수 있다.
빙봇은 빙 웹마스터도구에서 사용하는 크롤러 로봇이다.
User-agent 와 Crawl-delay 란 단어를 볼 수 있는데 이것을 찾아볼 필요가 생긴다.
로봇접근과 재방문시간
검색엔진들의 크롤러봇들은 자신들에 등록된 URL을 단 한번만 방문하는 것이 아닌 다른 때에도 재방문을 한다.
수정된 포스팅이 있다면 색인화작업을 다시 하기 시작한다.
그렇다면 User-agent 와 Crawl-delay 에 대해 어떤 것인지 느낌이 온다.
- User-agent / 로봇 접근 제한
- Crawl-delay / 재방문 지연 시간 ( 초 단위)
User-agent 는 검색엔진의 크롤러봇들의 허용을 지정할 수 있고, Crawl-delay 는 재방문시간을 초단위로 지정할 수 있다.
그런데 티스토리의 robots.txt 를 보면 빙봇은 30초로 지정되어 있다. 이유가 있을 것이다.
Crawl-delay: 30
Crawl-dely: 30 은 재방문 지연시간을 30초 간격으로 지정한 것이다.
이제 아래의 구문을 이해할 수 있다.
User-agent: bingbot
Crawl-delay: 30빙 웹마스터도구의 색인화작업을 하는 빙봇의 재방문을 30초 간격으로 지정한다.
30초가 지나가지 않았다면 접근을 허용하지 않겠다. 란 의미이다.
이 구문은 유독 티스토리만 가지고 있는 것이 아니다.
웹사이트를 운영하는 여럿 블로그의 기록들을 보면 한결같이 이런 구문을 가지고 있는데 이유인 즉슨 단순하다.
트래픽을 잡아먹는다는 것.
의미없는 트래픽을 빙봇이 잡아먹고 있기에 재방문 접근시간을 30초 간격으로 둔 것이다.
즉, 빙봇의 크롤러봇은 서버 생각없이 무차별적으로 접근한다는 것을 의미하기도 한다. 이것은 웹사이트 운영자에게는 트래픽 남발과 비용 증가라는 단점을 가지는 이유다.
정상적인 움직임인가
일부 기록들을 보면 빙 웹마스터도구에서 403 Forbidden 오류가 발생하더라도 URL 등록을 꾸준히 한다고 한다.
어차피 빙봇은 rss나 sitemap 을 이용해 재방문을 할 것이기에 일단 수동으로 먼저 URL을 등록하는 것이다.
빙봇에서 라이브 URL 검사시 403 발생했다면 이미 빙봇이 다녀갔다는 의미이다.
빙 웹마스터도구를 많이 사용해 본 어떤 분들은 빙 웹마스터도구에서 발생하는 403은 신경쓰지 말라고 하는 것이 이런 이유이다.
빙봇 크롤링 제어 하기
빙 웹마스터도구에 접속했다면 좌측메뉴의 크롤링제어 항목을 찾아보도록 하자.
이 메뉴는 빙봇이 크롤링하는 속도를 볼 수 있으며, 속도를 설정할 수 있다.
크롤링 제어 메뉴를 클릭했다면 빙봇의 크롤링을 제어할 수 있는 화면이 나타날 것이다.
초기화면을 보면 놀랄 것이다.
가장 빠른 속도로 기본설정되어 있기 때문이다.
하루 24시간을 줄기차게 크롤링하고 읽고 색인화하는 작업을 진행하는 것을 볼 수 있다.
기본으로 바꾸면 속도는 줄겠지만 403 Forbidden 오류 메세지는 덜 보게 될 수 있다.
아래처럼 바꿔주도록 한다.
변경 사항 저장을 누르면 크롤링 속도를 낮출 수 있고, 티스토리에 부담되는 의미없는 트래픽도 줄어들 것이다.
이제 기다림과 시간이 해결해 줄 것 같다.
빙 웹마스터도구에서 발생하는 403 Forbidden 오류는 크게 신경쓰지 않아도 시간이 지나면 색인이 된다지만 굳이 색인 오류가 발생한다면 크롤링 제어를 해 보도록 한다.
'info' 카테고리의 다른 글
| 애드센스 수익화를 위한 고단가 키워드 주제 찾는 방법 (0) | 2022.11.09 |
|---|---|
| 구글 크롬 광고 팝업 차단 쿠키 삭제 방법 (0) | 2022.11.07 |
| 검색 엔진 SEO 링크 태그 속성 관계 a rel nofollow noopener norefferer sponsered (0) | 2022.11.02 |
| 티스토리 SEO URL 검사 여러개의 h1 태그 2개 이상 문제 해결하기 (0) | 2022.10.29 |
| 블로그 검색 노출에 필요한 SEO 웹마스터 도구 3가지 (0) | 2022.10.29 |
댓글