Wordpressでクロール制御するrobots.txtの設定

Wordpressでクローラーのクロール制御するためにデフォルトでプライバシー設定機能がありますが、
それだけだとadminやphpファイルなど不要なフォルダ、ファイルもクロールされてイヤらしい♡
ことになるので、robots.txtをドキュメントルートに設置して制御します。

　User-agent: *
　Disallow: /wp-admin/
　Disallow: /wp-includes/
　Disallow: /wp-content/plugins
　Disallow: /wp-content/cache
　Disallow: /wp-content/themes
　Disallow: /*?
　Disallow: /*.php$
　Disallow: /*.js$

ちなみにWordpressはfunctions.phpのdo_robots()クラスでrobots.txtを自動生成しているので
そこで記載することも可能です。

function do_robots() {
	header( 'Content-Type: text/plain; charset=utf-8' );

	do_action( 'do_robotstxt' );

	$output = '';
	$public = get_option( 'blog_public' );
	if ( '0' ==  $public ) {
		$output .= "User-agent: *\n";
		$output .= "Disallow: /\n";
	} else {
		$output .= "User-agent: *\n";
		$output .= "Disallow: /wp-admin/\n";
		$output .= "Disallow: /wp-includes/\n";
		$output .= "Disallow: /wp-content/plugins\n";
		$output .= "Disallow: /wp-content/cache\n";
		$output .= "Disallow: /wp-content/themes\n";
		$output .= "Disallow: /*?\n";
		$output .= "Disallow: /*.php$\n";
		$output .= "Disallow: /*.js$\n";
        }

	echo apply_filters('robots_txt', $output, $public);
}

でもこれだと、WPのバージョンアップの時に更新される可能性があるので
要注意らしいです！！