본문 바로가기

크롤러 오류로 인해 크롤링 안됨 - HTTPS가 유효하지 않으며 호스트 서버 문제

by e.스토리 2022. 10. 23.

"광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."라는 당황스러운 문구와 함께 광고가 전면 뜨지 않는 것을 발견했습니다. 해결할 방법이 있을까요? 글을 쓰는 것보다 구글 광고 수익을 얻는 것에 더 비중 있게 블로그를 시작했다면 망연자실할 수밖에 없는 상황입니다. 폭풍 검색을 통해 해결 방법을 몇 가지 찾아보았습니다. 

크롤러 오류 페이지

크롤러 오류, 호스트 서버에 연결할 수 없음 - 해결 방법

무엇 때문일까? 당혹스럽기도 한데, 아마도 구글 애드센스를 본문에 HTML 코드로 넣는 과정에서 20개 가까이 되는 게시물을 한꺼번에 수정하다 보니 생긴 문제가 아닌가 의심하고 있습니다. 수동으로 삽입하는 광고를 제작하였는데, 반응형과 고정형을 번갈아가면서 작업하다 보니 구글 봇 입장에서는 크롤링이 꼬인 듯합니다. 인터넷에서 찾아 본 3가지 방법을 나열합니다. 참고로 저는 해결 방법 3이 가장 좋아보입니다.


해결 방법 1

크롤러 액세스 페이지

가장 많은 분들이 사용하신다는 방법입니다. 구글 애드센스로 들어가서 계정 - 액세스 및 승인 - 크롤러 액세스를 클릭합니다. 여기에서 로그인 정보를 추가하면 됩니다.

로그인 정보 추가하는 방법


사용자 이름 부분은 티스토리를 로그인할 때 사용하는 정보를 입력하시면 됩니다. 개인정보를 입력하려니 왠지 찝찝한 부분이 있어서 하기가 꺼려집니다. 다른 방법은 없을까요?

개인정보 입력


해결 방법 2

인덱싱 요청 페이지

다음으로 가장 많이 사용하시는 방법은 구글 서치 콘솔에서 해당 URL을 인덱싱 요청하는 것입니다. 구글 서치 콘솔의 페이지에서 확인하시면 아마 동일하게 색인이 안되어 있음을 확인할 수 있을 것입니다. URL 검사를 클릭해서 해당 웹주소를 입력하면 아직 등록이 안되어있다고 나오거나 심지어 위의 이미지처럼 URL이 Google에 등록되어 있음으로 표시되기도 합니다. 해당 게시글에서 혹시 어뷰징 될 만한 내용이 있다면 수정을 해 주세요. 특히, 제목에서 유사문서 느낌이 들지 않도록 수정하여 주는 것도 방법이 될 수 있습니다. 그리고 난 후 색인 생성 요청을 하시면 됩니다. 

인덱싱 요청

이렇게 해 두고 하루 이틀 기다려 봅니다. 너무 막연합니다. '어차피 기다려야 하는 상황인 건가?'라는 생각도 듭니다. 그래서 저는 차라리 세 번째 방법을 택하기로 했습니다. 


해결방법 3 - 추천

여러 게시글을 찾아보고 참조하여, 해결될 때까지 게시글을 비공개로 작성하는 것이 좋다는 뜬금없는 의견도 있었는데, 우선은 해당 글의 내용을 모두 평이한 내용으로 수정하고 인덱싱 요청은 하지 않고 기다려보기로 했습니다. 수정한 것이니 인덱싱 요청을 하는 것도 괜찮을 듯합니다. 하여간 몇몇 분들은 이것이 티스토리 서버의 문제라고 말씀하시는 분들도 보았습니다. 정말 티스토리 서버의 문제라면 우리가 할 수 있는 것은 아무것도 없습니다. 개선되기를 기다리는 수밖에요. 


무슨 까닭인지 모르지만 이 글을 작성한 후 몇 차례 더 크롤링 오류가 발생했었습니다. 그리고 또 하루 이틀 지난 후에는 크롤링 안된다던 글들이 목록에서 사라지기도 했습니다. 다시 한두 시간 있다가 크롤링이 안된다는 메시지가 나타나기도 합니다. 괜히 html 편집기를 건드리거나 robots.txt 파일을 수정할 수 없을까?' 고민했던 시간들이 아깝게 느껴졌습니다. 

HTTPS가 유효하지 않으며 색인이 생성되지 않을 수 있습니다.

이 문구에 고민하지 마세요.

구글은 기다리라 말합니다
크롤링 오류 해결 방법은 기다림

아무래도 티스토리 호스트 서버 자체의 문제일 가능성이 더 큰 것 같습니다. 아직 익숙하지 않은 새로운 블로그. 이런저런 고민하지 말고 꾸준히 1일 1 포스팅하면서 나 자신만의 글을 쓰다 보면 네이버에서 그랬던 것처럼 저자의 주제 전문성을 인정받아 노출이 잘되고 구글 애드센스 수입도 늘어날 날을 기대해봅니다. 끝으로, 구글 광고는 잘 됩니다만, 단지 구글에 노출이 안되어서 링크를 아는 분들만 방문합니다. 

반응형

댓글

최신글 전체

이미지
제목
글쓴이
등록일