「robots.txt にアクセスできません」を解決する方法

新しく作ったサイト。
早めにGoogle検索でヒットさせたくて、 Google Search Console を使ったんです。

【インデックス登録をリクエスト】するんですが、なぜか「URL は Google に登録できません」のエラー。

下の方をよく見るとエラーに「Robots.txt にアクセスできません」とある。

まあ、じっくり待てばそのうちGoogle様からクロールされるのはわかっているんですが、そんなにのんびり待てないでしょ。仕事にならないでしょ。困りました。

でもとある方法であっけなく解決したのでメモしておきます。

「URL は Google に登録できません」を解決する方法

解決方法は「グーグルなどの検索エンジンがサイトをインデックスしないようにする」んです。

【Robots.txt にアクセスできません】というエラーが出てる場合、「Robots.txt が無い」ってことでしょ？

だったら作ればいいんでしょ？

で、自分で無理やり作成してサーバーにぶち込んで試してみた。

と、ここで思いついたこと。

「robots.txt」が見つからないからアクセスできないわけでしょ。じゃ、インデックスしないように設定したら「robots.txt」が作られるよね。

だったら一度 WordPress をインデックスしないように設定すればいいんじゃね？

その後でインデックスするように設定を変更すればいいわけだし。

早速、自分でぶち込んだ失敗作の「robots.txt」を削除して元に戻しました。

解決手順

Woredpress のダッシュボードを開いて設定を変更します。

このときは Cocoon を使っていたので、そちらも同時に設定しました。

手順1と手順2の両方をやりました。

ほい。Google Search Console でインデックス登録をリクエストしたらすんなり通過しましたよ。

私は手順を2つ試しましたが、もしかしたらどちらか1つだけでもよかったかも。

一件落着。

まとめ

Google Search Console でインデックス登録をリクエストしたら【Robots.txt にアクセスできません】というエラーが出る場合は、一度 noindex の設定をすれば「robots.txt」が勝手に出来るので、その後で設定をindexする設定にいじればいいです。