【ちゃんなるぶろぐ】社会人1年生が日々の学びをアウトプット!

>>> 読書・遊び・プログラミング・アプリ開発などを通して学んだことを、文章という形で出力 <<<

3分でわかる!robots.txtとは?

どうも、ちゃんなるです!

今日はrobots.txtについてまとめます。


先日React.jsを学ぶために公式チュートリアルを始めました。アプリの土台を作るためにコマンド(npx create-react-app sample-app: sample-appをアプリ名とする)を叩くと、色々なファイルとともにrobots.txtも生成されました。

「えっ?なにこれ?」となって今に至ります。

robots.txtとは?

これは、検索エンジンのクローラに対して、サイトのどのURLにアクセスして良いかを伝えるものです。

基本的にはクローラのサイトへのトラフィックを管理するために使用しますが、ファイル形式によっては、Googleでファイルを非表示にするために使用することもあります。 サイト上の重要でないページや、類似したページのクロールを回避することにも使用します。

あるウェブページをrobots.txtファイルでブロックしている場合、検索結果にそのウェブページのURLが表示されることはありますが、説明は表示されません。 HTML以外のファイル(画像ファイル、動画ファイル、PDFなど)は除外されます。

検索でページを完全に非表示にする方法は、参考文献その②をどうぞ。

robot.txtの作成方法やその書式に関しては、参考文献その③をどうぞ。

参考文献