GoogleのSearch Consoleで「Googleインデックス → ブロックされたリソース」を確認すると、45件と結構な数がブロックされていました。このまま放置しておくと、その45ページはGoogleに正しくインデックス登録されない可能性があります。
robot.txtはw-logo-blue.pngを読めない
“https://e-yota.com/wp-admin/images/w-logo-blue.png”の箇所をクリックすると、問題があるページの一覧が表示されます。
45のページで共通していることは、WorPressのページを引用していることです。WordPressのURLをそのまま引用すると、上記の画像のように”W”というWordPressのロゴが表示されます。どうやらGoogleのrobot.txtは「引用で使われているWordPressのロゴが読めない。インデックスができないかもしれないよ」と言っているような感じです。
robot.txtファイルの編集
では、WordPressのロゴファイル(”/wp-admin/images/w-logo-blue.png“)を読み込んだ上で、WordPressの引用が使われているページをGoogleに正しくインデックスさせるためにはどうすれば良いでしょうか?そのためには、Search Consoleの公式ドキュメントを参考にしながら、robot.txtファイルを編集する必要があります。
robot.txtテスターによる確認
まず、GoogleのSearch Consoleの画面でrobot.txtテスターを確認します。WordPressのwp-adminディレクトリ以下のファイルは、基本的にブラウザ上で表示されることはありません。ですが今回の”w-logo-blue.png”は、wp-adminディレクトリの下に位置しており、例外的に表示させる必要があります。
robot.txtの編集
次にrobot.txtテスターで表示されているrobot.txtを参考としながら、新たにrobot.txtを作成・編集します。
# cd /var/www/html # vi robot.txt i User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Allow: /wp-admin/images/w-logo-blue.png :wq
ドキュメントルートディレクトリにrobot.txtファイルを作成します。そのファイル内でw-logo-blue.pngについては、例外的にrobot.txtからのブロックを避けるようにします(つまりw-logo-blue.pngだけはクロールとインデックスを認める)。
自分はコマンドラインでファイルを作成編集しましたが、FTPやSFTPなどの転送ツールを使っても良いでしょう。要はWordPressの中でもwp-adminディレクトリがある階層と同じ階層にrobot.txtファイルがあれば良いので。
更新したrobot.txtをGoogleに送信
robot.txtファイルをWordPressのドキュメントルートディレクトリに作成し、再度robot.txtテスターを確認します。編集内容が表示されますので、「送信」ボタンをクリックします。
数時間ほど経過すると、”Allow: /wp-admin/images/w-logo-blue.png”が緑色で表示され、更新作業が完了したことが分かります。
なお、ここまでの作業を終えて「Googleインデックス → ブロックされたリソース」を再確認しました。相変わらず/wp-admin/images/w-logo-blue.pngはブロックされたリソースとして表示されます。おそらくこの表示が消えるまでには、さらに2~3日はかかるのではないかと思います。
2018年8月28日追記
2018年8月28日(火)にSearch Consoleから「ブロックされたリソース」を確認すると、w-logo-blue.pngがブロックされていることが大きく減少したことが判明しました。先日編集した、robot.txtの内容がSearch Consoleに作用していると考えられます。