Google、Yahoo!、Microsoftなどの検索エンジンで共通で利用されているサイトマップ0.90を利用してクローラーに捕捉させるための方法です。
GoogleではgoogleWEBマスターツールなどを利用する方法もありますがrobot.txtを利用する方法が最も簡単です。 ①サイトマップを作成する
http:/www.sitemaps.orgに仕様などが掲載されていますがＦＣ２のサイトマップ作成ツールを利用するのが最も簡単です。
作成が完了したらサーバにアップロードします。
②robots.txtにアップロードしたサイトマップファイルに向けて以下の1行を記載します。（ＵＲＬはサイトの環境に合わせてください）
URLはフルパスで記載してください。

Sitemap: http://it.kndb.jp/sitemap.xml

以上でクローラーがアクセスした際に自動的にサイトマップを補足してくれます。