【はてなブログ+Google Adsense】「ホスティングの問題: サーバーの過負荷」エラーが頻発する現象について

2019年1月25日

この数週間、Google Adsenseを開くと黄色い帯に

広告クローラのエラーが生じており、収益の損失が発生する可能性があります。

というエラーメッセージが表示されていることが何度かありました。

内容を確認すると、

ホスティングの問題: サーバーの過負荷

というエラーにより広告が正常に配信できていないことがわかります。

はてなブログがあるサーバーの負荷が瞬間的に高まり、運悪くエラーがでたのかな？と最初は考えていたのですが、その後もこのエラーが頻発するようになり、何か問題が起きていることを知りました。

ホスティングの問題: サーバーの過負荷とは

ホスティングの問題: サーバーの過負荷とは、AdSenseヘルプによると以下の通りです。

ホスティングの問題
Google のクローラがサイトのコンテンツにアクセスする際に、サイトのサーバーが時間内に応答できない場合があります。これは、サーバーがダウンしたり、リクエストによって負荷がかかりすぎて速度が遅くなったりしている場合に発生します。信頼性の高いサーバーやサービス プロバイダを使用してサイトがホストされるようにすることをおすすめします。

AdSenseヘルプ（https://support.google.com/adsense/answer/2381908）より

要するにGoogleの広告配信用クローラがサイトにアクセスできないということです。

サーバーの性能を上回るようなアクセスが集中したり、サーバーがダウンしているような場合が想定されます。

はてなブログのサーバーは問題なし

つまり、エラーを文字通り読み解くとはてなブログのあるサーバーに問題があるということになります。そこで、はてなサポート窓口に問い合わせてみたところ以下の回答を得ました。

• はてなブログのサーバーでは異常は検知されていない
• 他にも同様の問い合わせを受けている
• 調査を行っているが異常が検知されていないため原因の特定が困難
• AdSense自動広告を設置されている場合にのみ発生している模様
• はてなブログ側に問題がないためGoogle AdSense側に問い合わせてほしい

原因は不明であるもののAdSense自動広告を使用しているユーザーに限ってこの現象が発生しているようです。

また、はてなブログのサーバーには異常がないため「ホスティングの問題: サーバーの過負荷」には別の原因がありそうです。ただし、このエラーが出ているということはGoogle AdSenseのクローラーがリクエストに対してレスポンスが受け取れていないという一点は間違いのない事実だと思います。リクエストの方法に問題があるのか、あるいは別の原因か。

同じ現象はずっと前から発生していたみたい

Twitterでこちらの現象を調べてみると、古いものでは今年の5月から確認することができました。

【教えてください！】アドセンスで「広告クローラのエラーが生じており、収益の損失が発生する可能性があります。」とでて、原因が「ホスティングの問題: サーバーの過負荷」で、対象がはてなの独自ドメイン2サイトなんです。な、なぜ？どうすればいいです？？｡ﾟ(ﾟ´Д｀ﾟ)ﾟ｡ｳｴｰﾝ

— こるり (@koruri130) 2018年5月18日

Adsense のクローラーのレポートで「ホスティングの問題: サーバーの過負荷」でエラーが出てた。やはり、はてなブログが怪しいな。問い合わせ行きだ。

— 茶トラ (@chatoracat777) 2018年8月2日

なんか、アドセンスから「ホストサーバーの過負荷」とやらでお知らせが来てるのですが・・。
これは、自分で何とか出来るもんなんですかね？
それとも、はてなの限界なんですかね？
どなたかご教示下さい〜。
同じような方いますか？
困ってます(；ω；)

— かたせうみ (@kataseumi) 2018年9月18日

 Google AdSenseに問い合わせる術がない

今回の現象が、エラーの内容だけ見ているとGoogle AdSense側の問題とはとても思えないのですが、はてなサポート窓口から指示があった通りGoogle AdSense側に問い合わせることにしました。

しかし、Google AdSenseには「フィードバック」と「ユーザー間で助け合うフォーラム」しか用意されておらず、Google AdSenseから回答を得られる問い合わせ窓口が見つかりません。

Google Adsenseに問い合わせできました

てっきり問い合わせ手段がないと思っていたのですが、ヘルプから長々リンクを辿って行った結果問い合わせることができました。

追記1：Googleから回答がありました

Google AdSenseサポートチームから回答がありました。

要約すると以下のようなものでした。

• Google社内ではてなサーバーへのクローラエラーは共有されていない
• この問い合わせが当問題に関する初めての問い合わせ
• エンジニアに確認を進めさせ、進展があれば連絡する

どうにもGoogleではこの問題を認識していなかったようです。

この回答ははてなサポート窓口側にも伝えました。

その後、Googleから調査結果が届きました。

内容を要約すると以下の通りです。

• サーバーの過負荷エラーの原因は以下の3パターン
• 1. サーバーにアクセスが集中する等の原因でサーバーの高負荷状態になり、Google AdSenseのクローラが正常にサイトにアクセスできなかった
  2. Google AdSenseのクローラがアクセスする際にリダイレクトが多くかかった
  3. Google AdSenseのクローラに異常がある
• 3番目のGoogle AdSenseのクローラ異常についてはエラーは発生しておらず、はてな関連以外の問い合わせも受けていないため異常はないと判断できる
• Google AdSenseやAdWords関連のステータスはこちらから確認できる
• 現時点で私（カタミチ）のアカウントを確認した限りサーバー過負荷エラーは解除されている様子

Google側には問題はなく、何か問題があるとすればはてなブログ側だろうとの調査結果でした。

最後の現時点ではサーバー過負荷エラーが解除されているという表現は回答結果の通りなのですが、これが意味するところが正確にわかりません。

これまでは数日に1回はサーバー過負荷エラーが表示されていましたので、とりあえず毎日Google AdSenseをチェックしてエラーが再発しないかどうか確認し、もしエラーが出れば再度Google側に連絡してみようと思います。

また、このないようははてなサポート窓口に連絡済みで、そちらからの対応と回答も待っているところです。

追記2：はてなサポート窓口から連絡がありました

はてなサポート窓口から連絡がありました。

要約すると以下の通りです。

• 過負荷等の記録（エラー）が残っていない
• エラーの記録が残っていない以上調査しない（暗にする予定もないと言っている）
• エラーが再発した時にもう一度Googleに問い合わせて回答を受け取ったうえではてなサポート窓口に問い合わせてほしい
• Googleにもっと詳細を確認してほしい

追記3：再発したのではてな・Google両サポートへ連絡しました

数日間エラーが出ていなかったのですが、再びエラーが出るようになりました。

エラー画面を見ても発生時刻がわからないので確かなことは言えませんが、時折Google Adsenseを開くとエラーが表示されている状況です。

そこで、改めて両サポートチームへ連絡しました。

随分と時間がかかってGoogle AdSenseサポートから回答がありました。

しかし、ちょっと予想外とも当然ともいえる回答でした。

• エラーが発生している対象URL、クロールエラーの詳細などは開示できない
• エラーの発生時刻だけであっても開示できない

はてなサポート窓口は、エラーの詳細がわからないと調査できないと言う。

Google AdSenseサポートは、エラーの詳細は開示できないと言う。

この結果を受けてはてな側がどう対応してくれるのか。

不安しかありません。

多分最後の追記：Googleは情報開示できず、はてなは調査せず

最終的にはてなサポート窓口からも回答がありました。

結論としては詳細がわからないければ調査しませんという内容でした。

以下、一部抜粋です。

Google様からは、詳細な内容については開示いただけないとのこと、弊社側でもエラーとなる詳細な内容を開示いただけない限りでは、これ以上の調査は行うことができません。

なお、現段階で弊社側での高負荷な状況については確認できておりませんが、
今後当該現象について要因となる可能性があるものが確認できた場合には対応を検討いたします。

しかしながら、Google 様側のクローラーについては弊社提供のものではなく、
詳細についてお尋ねいただいた場合でも、今回のように詳細を開示いただけるものではないことも含め、
改善を必ずお約束できるものではないことを何卒ご理解いただけますよう、どうぞよろしくお願いいたします。

Google側には不備はなく、はてな側は対策を講じないということで、今回の不具合をどうしても解決したいという場合にははてなブログ以外への引っ越ししか選択肢がありません。

もし何か進展があれば追記しますが、たぶん現状維持か引っ越しになるのではないでしょうか。自然に解消してくれると良いのですが。

多分最後の追記：あれ？「デザイン」をいじるとエラーが出る？

最近、このエラーとの付き合いも長くなって「これが原因かも？」という要因を見つけました。もちろん確かではありません。

はてなブログの「デザイン」を開いてデザインの設定を変更するとエラーがでるような気がしています。

ただし、ある時期を境にエラーが頻発するようになりましたから「デザイン」のせいだという確証はありません。

検証しつつ、久々にはてなサポート窓口に問い合わせてみたいと思います。