在對岸的網站上看到相關的 seo 文章，轉載過來讓大家參考一下，畢竟 seo 網站優化是要不斷的學習進修，參考一下相關資訊，讓 seo 更有所成效是大家所樂見的。以下是文章內容，轉載過來有做一些刪減，如要看原文出處可以點選原文連結。
WordPress 的好處和優點我就不再特別說明了，今天來說 WordPress 的 robots.txt 文件的 SEO 優化。這篇 WordPress 的 robots.txt 的 SEO 優化的文章，大家做一下參考即可。先說一下這個 SEO 優化的原則，就是集中網站的權重，讓搜索引擎抓取有價值的東西，減少網站主機的頻寬和資源消耗。這個我想是任何一個網站的 robots.txt 文件所要做的優化。下面先提供自己網站的 robots.txt 文件：
User-Agent: *#允許所有的搜索引擎抓取網站Allow: /wp-content/uploads/#允許/wp-content/uploads/目錄被抓取，這個目錄是網站的圖片等附件Disallow: /cgi- bin/#不允許抓取/cgi-bin/目錄，這個是一個主機的什麼目錄Disallow: /wp-*#不允許抓取任意wp-開頭的目錄，因為都是Wordpress系統程序等，自定義鏈接的時候也不要以wp-開頭Disallow: /*/trackback/#不允許抓取任意目錄的Ping功能地址Disallow: /feed/#不允許抓取網站的RSS訂閱地址Disallow: /*/feed/#不允許抓取網站欄目的RSS訂閱地址Disallow: /comments/#不允許抓取網站的評論地址Disallow: /*/comments/#不允許抓取網站欄目的評論地址Disallow: /page/#不允許抓取網站的分頁Disallow: /*/page/#不允許抓取網站欄目的分頁Disallow: /*.js$#不允許抓取網站的js文件Disallow: /*.css$#不允許抓取網站的css文件Disallow: /*?*#不允許抓取網站的動態地址Disallow: /avatar/#不允許抓取avatar目錄Sitemap: https://www.xxx.com/sitemap.xml#向搜索引擎提交網站地圖
wordpress-robots.txt的seo
上面的 robots.txt 文件有進行了逐句解釋。之所以要禁止這些目錄抓取，大家應該有自己的看法，可以自己在後面添加或者刪除某些目錄禁用抓取。對於禁止網站分頁的抓取，我是覺得那樣會分散網站的權重，所以就禁止網站分頁抓取。如果你有不同的意見，可以自己修改 robots.txt 文件，在這裡提供的只作為參考。特別強調一下，修改上傳之後，一定要用 google 或者百度的站長工具測試一下，特別是google的站長工具，功能很強大的。 以上就是我們關於 WordPress 的 robots.txt 的 SEO 優化的全部內容，如果你是用的其他的系統建置的網站，也需要考慮一下網站的 robots.txt 文件的優化，這個很重要哦。
原文連結：https://www.noniu.com/zatan/seo-youhua-robots.html