2024-09-21 どうでもいい話: gudako. net、robots.txtを適当に設置。 雑記ネット どうでもいい 一行ブログ (記事画像は適当) どうでもいい話だが、gudako.netに適当なrobots.txtを設置した。Cloudflareが内部的に使う/cdn-cgi/~、GitHubでの閲覧向けのMarkdownファイルをDisallowしているだけ。余分な404を増やさない、Webでの閲覧に適さないファイルをクロールから除外するという目的もある。まぁrobots.txtで除外してもGitHubのリポジトリの方がクロールされるかもw