크롤러 크롤링 오류 줄이는 5가지 방법

  티스토리 블로그를 운영하다 보면 종종 애드센스 크롤러 크롤링 오류가 생기곤 합니다. 명확하게 크롤러 크롤링 오류를 해결하는 방법은 없지만, 시간이 지나면서 나름대로 터득한 크롤러 크롤링 오류를 줄이는 팁을 소개합니다.

 

목차

 

1. 맞춤법 검사, 미리보기는 필수 

   모두가 다 알고 있는 이야기이지만, 구글 애드센스를 하시는 분들이라면 애드센스가 글에 맞게, 스킨 디자인에 맞게 광고 세팅을 하는 것을 아실 겁니다. 그렇기 때문에 발행 후 수정을 해서 글을 계속 재발행하는 것보다 글 발행 전에 최대한 수정 하는 것이 좋습니다. 저도 이 부분을 간과해서 글을 쓰면 대충 확인하고 글을 발행한 적이 많았습니다. 그리고 며칠 뒤에 수정할 부분이 보여 수정하고 또 수정하였죠. 글 발행 후 바로 수정을 여러 번 한 적도 많았습니다. 아이폰에서 다시 확인해서 가독성이 떨어지면 수정을 하는 일도 잦았는데 구글 애드센스에는 빈번한 수정이 결코 좋지 않다는 결론입니다.

 

   글이 발행되면 구글에서 색인을 생성하기 위해 크롤러 크롤링을 합니다. 글 발행 후 수정을 해서 재발행을 계속 반복하는 것은 색인 생성을 위해 크롤링(크롤러를 하는 행동)을 계속해야 한다는 의미이고, 이 과정에서 구글 애드센스 크롤러 오류가 발생할 가능성이 높아 보입니다. 적어도 제 블로그에서는 글 발행 후 수정을 통해 재발행이 계속된 시기와 크롤러 오류가 급증한 시기가 연관성이 있었습니다. 그래서 요즘은 되도록 글을 최초 발행 하기 전에 맞춤법 검사와 미리보기를 통해 PC와 모바일에서 가독성을 미리 확인합니다. 이후 수정할 일이 생기면 몰아서 한 번에 수정을 하여 재발행 횟수를 최소 1번으로 줄였더니 확실히 크롤러 크롤링 오류가 줄어들었습니다. 

 

2. 내 블로그 글 자주 클릭하지 않기

   예전에는 글을 발행한 후, 애드센스 광고가 잘 나오는지 수시로 확인했었습니다. 티스토리에 로그인을 하지 않고 그냥 블로그 주소로 들어가서 확인하거나 모바일 홈 화면에 따로 뺀 블로그 사이트로 직접 들어가서 애드센스 광고가 잘 노출이 되는지 본 것이죠. 무의식적으로 제가 발행한 글에 많이 들어가 보았고, 애드센스가 잘 게재가 안 되는 글을 새로고침을 하면서 애드센스 광고가 잘 나오는지 여러 번 확인도 했었습니다. 애드센스 집착이네요. ㅎㅎㅎ 애드센스 광고 승인은 받았는데 광고가 잘 나오지 않으면 처음에는 그게 참 신경 쓰였습니다. 그래서 더 자주 발행한 글을 눌러보고 새로고침했었는데 결과적으로 그런 행동들이 크롤러 크롤링 오류를 더 만든 건 아닐까 합니다. 

 

   같은 IP나 같은 기기로 사이트에 접속해서 글을 클릭하는 행위를 구글이나 구글 애드센스에서 반기진 않겠지요. 그래서 이제는 궁금한 것을 꾹 참습니다. 구글 애드센스에 오류가 뜨거나 지메일에 메일이 오지 않는다면, 되도록 내가 쓴 글을 클릭하지 않습니다. 긁어 부스럼 만드는 느낌이랄까요. 예전에는 발행한 글을 하루에도 수시로 클릭해서 광고가 잘 나오는지 체크했는데 이제는 구글 애드센스 수익 부분을 보며 문제 여부를 확인하고 로그인을 해서 제 글을 확인합니다. 로그인을 하고 제 글을 보면 왠지 카운팅도 안되고 구글에서도 인지를 못하지 않을까라고 조심스레 예측해 봅니다. 

 

3. 스킨 디자인 수정은 한꺼번에

  스킨 디자인이 정착되기 전, 수시로 스킨 디자인을 바꾸었습니다. html과 css를 하나 바꾸고 새로고침해서 확인하고, 하나 바꾸고 확인하는 과정을 거쳤죠. 그때는 CSS를 바꾸고 예시를 바로 보는 방법을 몰랐습니다. 블로그도 하면서 배우고 있지요. 구글 애드센스는 스킨 디자인에 맞추어 최적의 광고를 세팅합니다. 그렇기 때문에 자동 광고를 설정하신 분들은 시간이 지나면 자신의 블로그에 최적화된 광고를 볼 수 있습니다. 그렇게 광고를 세팅하기 위해 애드센스 크롤러가 블로그에 방문해서 블로그의 특징을 분석하고 스킨 디자인을 분석할 겁니다. 만약 스킨 디자인을 자주 바꾼다면, 애드센스 크롤러가 블로그 스킨에 제대로 적응할 시간이 없을 수 있습니다. 물론! 스킨 디자인을 수백번 바꾸어도 애드센스 광고가 잘 노출이 되는 분들도 있습니다.

 

  제 블로그는 홈 디자인의 변경이 잦고, 홈 화면의 새로고침이 빈번했던 시기에 홈 화면의 광고 노출이 거의 되지 않았었습니다. 이후 의도적으로 디자인 변경을 하지 않고 새로고침도 거의 하지 않고 지켜보니 홈 화면 디자인에 맞추어 애드센스 광고도 세팅되어 나타났습니다. 결국 애드센스는 광고주들에게 최적의 광고 효과를 선보여야 합니다. 그러기 위해서 애드센스가 좋아하는 것이 무엇일까 떠올려보면, 블로그 디자인과 조화로운 광고 게재로 광고를 노출시켜 광고에 대한 거부감을 줄이고 광고에 대해 관심을 가지게 만드는 게 아닐까 합니다. 그래서 가능하다면, 스킨 디자인 수정은 수정사항을 모아서 변경하는 것이 좋겠습니다. 

 

4. 블로그 속도 개선하기

   블로그의 컨텐츠를 로딩하는데 시간이 많이 걸리면, 구글 애드센스도 제대로 광고를 게재할 수 없습니다. 그 과정에서 충분히 크롤러 오류가 생길 수 있습니다. 블로그 속도를 개선하고 블로그 무게를 가볍게 한 후 실제로 제 블로그의 경우 애드센스 광고 노출이 더 잘 되고 크롤러 크롤링 오류도 줄어들었습니다. 실제로 파워블로거들도 콘텐츠 하나하나 매 클릭마다 애드센스 광고가 원활히 노출되진 않습니다. 잘 될 때도 있고 노출이 아예 안 되는 글도 나옵니다. 티스토리 서버가 수많은 블로거들을 감당하기에 점점 무리입니다. 티스토리에서 지속적으로 업그레이드를 하고 있지만, 분명 네이버에 비해 업데이트나 서버 개선이 느립니다. 그래서 최대한 블로그 내에서 간결하게 정리할 수 있는 것들은 정리해서 블로그 로딩 속도를 개선하는 것이 필요합니다. 오디세이 스킨을 기준으로 블로그 홈화면 구성을 최대한 간결하게 하는 것도 그 요령입니다. 블로그 홈 화면과 관련해서 제가 한 고민과 어떻게 개선했는지는 아래에서 자세히 보실 수 있습니다. 앞으로 블로그 속도 개선 및 최적화 작업과 관련해서는 꾸준히 글을 올리겠습니다.

블로그 최적화 작업(1) 블로그 홈화면 구성

 

   블로그 속도를 개선하는 방법은 여러가지입니다. 스킨 디자인과 스킨 구성에 따라서 달라집니다. 디자인이 복잡하고 웹폰트를 여러 종류 사용한다면, 블로그 속도는 느려질 수밖에 없습니다. CSS가 복잡해도 블로그 성능에 영향을 미칩니다. 그래서 블로그 카테고리와 디자인, 구성 등에 따라 블로그 속도를 개선하는 것이 좋습니다. 계속 블로그 운영을 한다면, 블로그 글이 더 많아질테니 미리 블로그 성능을 향상하는 과정이 필요합니다. 이는 곧 원활하게 구글 애드센스 광고가 게재될 수 있다는 의미가 됩니다.

크롤러 오류는 줄이고 광고게재율은 높이는 블로그 최적화(2) 웹폰트를 가볍게

5. 사용하지 않는 CSS 삭제

   html 이나 CSS 코드가 복잡할수록 블로그 로딩 속도에 영향을 주고, 이는 곧 애드센스 크롤러 오류를 발생시킬 수 있습니다. 평소 사용하지 않는 기능이라면 따로 메모장에 옮겨두고 티스토리 스킨에는 삭제하는 것이 좋습니다. 예를 들면, 티스토리 프로필에서 SNS 공유하는 버튼 부분을 저는 CSS에서 삭제했습니다. 사용하지 않기 때문입니다. 블로그 글을 클릭하면 자동으로 html과 CSS 코드를 훑습니다. 짧을 수 있지만, 그 짧은 시간에 블로그 성능이 결정되기 때문에 사용하지 않는 코드는 삭제하여 코드를 조금이라도 간단하게 만드는 것이 좋습니다. 그래서 스킨을 색다르게 꾸미고 싶지만, 되도록 티스토리 기본 기능을 살리는 방법을 많이 고민하고 있습니다. 

 

body {
    font-family: 'Noto Sans KR', Arial, "Malgun Gothic", "맑은 고딕", 
                  Dotum, '돋움', Helvetica, sans-serif;

  ▲원래 티스토리 스킨에 기본적으로 등록된 바디 적용 폰트입니다. 

 

body {
    font-family: '메인 글꼴', Arial, "Malgun Gothic", Helvetica, serif;
    text-rendering: optimizeLegibility;
    -webkit-font-smoothing: antialiased;
    -moz-osx-font-smoothing: grayscale;

 ▲CSS를 간결하게 하는 것 중, 저는 블로그 바디에 적용되는 글꼴 수도 많이 생략했습니다. 티스토리에서 최초 세팅된 font-family는 꽤 많은데 저는 몇 개는 지우고 메인 폰트와 arial, 맑은 고딕, helvetica를 남겨두었습니다. 대부분 국내 방문자이기 때문에 많은 폰트가 있을 필요가 없다고 생각했습니다. .

 

 

   이 외에도 많은 코드를 삭제하거나 간결하게 바꾸고 있습니다. 크롤러 크롤링 오류가 많을 때는 13개 포스팅까지 생겼었는데 확실히 광고 수익에 영향이 컸습니다. 티스토리 서버의 문제라고 그냥 내버려두기에는 계속 반복되는 문제였기에 제 블로그의 성능을 개선시킬 필요가 있었죠. 다시 또 크롤러 크롤링 오류가 많이 생길 수 있는 게 애드센스 마음이지만, 그럼에도 요즘은 크롤러 오류가 거의 없고 광고도 잘 노출되고 있습니다. 새 글은 크롤러 크롤링 오류가 생길 때도 있지만 며칠 지나면 자연스레 사라집니다.

 

   애드센스는 때로는 관심을 주고 세심하게 관리를 하며 블로그 성능을 점검하고, 때로는 쓴 글에 애드센스 광고가 게재되지 않아도 무심하게 기다려야 하는 화초 같은 존재입니다. 참 쉬우면서도 어렵습니다. 오늘은 티스토리 블로그 크롤러 크롤링 오류를 줄이는 5가지 방법에 대해 알아보았습니다. 도움되시면 좋겠습니다. 긴 글 읽어주셔서 감사합니다.