最近知ったrobots.txtの話とオマケでsitemap.xmlの話。
グループ企業でドメインの中にサブディレクトリを分けて、各法人のサイト用にそれぞれWordPressをインストールする場合の注意点。
マルチサイト機能を使えば早いのでしょうが、コアアップデートの際の検証やバックアップしてテスト環境で復元したり、といった事が大変で出来るだけ使いたくない方向け。
robots.txt のコト
WordPressで通常は自動生成される仮想robots.txtですが、サブディレクトリにインストールして、設定のサイトアドレス (URL)がドメインルート以外の場合は、robots.txtが生成されません！
そこで手動でアップロードする必要があります。
通常のrobots.txt
通常のファイルはこのようになっています。
User-agent: *
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.phprobots.txtの編集
通常のrobots.txtをベースに、エディターでこのように編集してFTPでアップロードする必要があります。
User-agent: *
Disallow: /companyA/wp/wp-admin/
Disallow: /companyB/wp/wp-admin/
Allow: /companyA/wp/wp-admin/admin-ajax.php
Allow: /companyB/wp/wp-admin/admin-ajax.phpsitemap.xml のコト
WordPressを使ってるとほとんどの場合、プラグインでsitemap.xmlを出力していると思いますが、そのファイルもサイトアドレス (URL)に設定した場所に仮想sitemap.xmlとして出力されていると思います。
その分散したsitemap.xmlをまとめて管理する方法
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.co.jp/companyA/sitemap.xml</loc>
<lastmod>2004-10-01T18:23:17+00:00</lastmod>
</sitemap>
<sitemap>
<loc>https://example.co.jp/companyB/sitemap.xml</loc>
<lastmod>2005-01-01</lastmod>
</sitemap>
</sitemapindex>