robots.txt是一个存放于网站根目录的文本文件，其主要作用是指导搜索引擎的爬虫程序对网站页面的抓取权限。通过该文件，网站管理员可以明确哪些页面可以被索引，哪些页面应当被排除在外。其基本格式包含多个指令，例如
User-agent
用以指定适用的爬虫，
Disallow
则用于禁止爬虫访问特定路径，
Allow
则允许访问某些路径，网站地图的URL也可在其中提供。
合理配置robots.txt对于网站的安全和SEO表现至关重要。应确保后台管理页面（如
/wp-admin/
）和插件目录（如
/wp-content/plugins/
）被禁用，以避免不必要的风险和索引。与此重要内容目录（例如
/wp-content/uploads/
）应保持可访问，以确保媒体文件能够被搜索引擎检索。建议在文件中添加XML网站地图的链接，以帮助爬虫更好地发现网站所有页面。
对于使用WordPress的网站，有两种主要方式来创建或修改robots.txt文件。第一种方式是通过All in One SEO插件。在安装并激活该插件后，用户可以进入“工具”部分启用自定义robots.txt功能，随后在界面上直接进行编辑，完成后保存更改，插件会自动更新文件。第二种方式是手动编辑文件。通过FTP客户端连接到网站服务器，用户可以找到或新建robots.txt文件，使用文本编辑器添加或修改所需规则，*后保存并上传。
在配置完robots.txt后，务必使用Google Search Console的测试工具验证设置是否正确，以确保没有错误地阻止搜索引擎访问关键页面。适当的限制是优化SEO的关键，过度的禁止可能会导致重要内容无法被索引，因此定期审查文件内容是必不可少的，特别是在网站内容有所变化时。
通过上述步骤，可以有效地利用robots.txt文件优化WordPress网站的SEO表现，确保重要内容被适当索引，同时保护不希望被搜索引擎抓取的信息。合理配置与定期检查是维护网站健康的基本要素。
