
robots.txt文件生成器
-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
教学计划
AI帮你制定合理的教学计划
内容扩写
凑字数神器,你懂的
系统功能分析
只需提供系统名称和说明,工具将自动分析系统的模块和功能。
专利小助手
帮您生成专利文案
网址批量生成工具
在线根据规则批量生成网址
(BMR)基础代谢率
人体基础代谢率(BMR)在线计算工具
24点计算器
在线24点游戏计算器
颜色匹配度计算器
精准计算颜色间的匹配程度,帮助用户轻松获取美感搭配方案。
中国传统色彩
中国传统色彩列表
Cookie导入处理工具
在线处理Cookie字符串方便导入到浏览器
XML压缩/格式化
XML在线压缩/解压格式化工具
GUID生成工具
GUID在线生成工具
在线HEX与字符转换
在线16进制与文本互相转换工具
HTML网页源码链接提取工具
批量提取HTML网页源码中的A链接和图片链接
教育储蓄计算器
在线教育储蓄利息计算器
JS代码混淆
在线JavaScript代码混淆工具
VSCode快捷键大全
在线查询vscode代码编辑器快捷键大全
Magic Bytes参考
Magic Bytes文件头字节
拼音转汉字
在线通过拼音查询汉字
在线shield badge生成
在线生成SVG格式的shield badge
反应速度测试
帮助人们测试和训练反应速度的工具
退休时间日期计算器
帮您计算退休日期,还要工作多少天
在线邮箱地址提取工具
在线从内容中批量提取邮箱地址
网站桌面快捷方式
给网站添加一个桌面快捷方式,方便网站访问