robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开（以cr,cr/nl,or nl作为结束符）,每一条记录的格式如下所示。
"<field>:<optional space><value><optionalspace>"
在该文件中可以使用#进行注解,具体使用方法和unix中的惯例一样.该文件中的记录通常以一行或多行user-agent开始,后面加上若干disallow和allow行,详细情况如下。
user-agent:该项的值用于描述搜索引擎robot的名字.在"robots.txt"文件中,如果有多条user-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条user-agent记录.如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"user-agent:*"这样的记录只能有一条.如果在"robots.txt"文件中,加入"user-agent:somebot"和若干disallow、allow行,那么名为"somebot"只受到"user-agent:somebot"后面的 disallow和allow行的限制。
disallow:该项的值用于描述不希望被访问的一组url,这个值可以是一条完整的路径,也可以是路径的非空前缀,以disallow项的值开头的url不会被 robot访问.例如"disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html."disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条disallow记录.如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
allow:该项的值用于描述希望被访问的一组url,与disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以allow项的值开头的url 是允许robot访问的.例如"allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html.一个网站的所有url默认是allow的,所以allow通常与disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有url的功能。
使用"*"and"$":baiduspider支持使用通配符"*"和"$"来模糊匹配url
"*"匹配0或多个任意字符。
"$"匹配行结束符。
最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。
"<field>:<optional space><value><optionalspace>"
在该文件中可以使用#进行注解,具体使用方法和unix中的惯例一样.该文件中的记录通常以一行或多行user-agent开始,后面加上若干disallow和allow行,详细情况如下。
user-agent:该项的值用于描述搜索引擎robot的名字.在"robots.txt"文件中,如果有多条user-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条user-agent记录.如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"user-agent:*"这样的记录只能有一条.如果在"robots.txt"文件中,加入"user-agent:somebot"和若干disallow、allow行,那么名为"somebot"只受到"user-agent:somebot"后面的 disallow和allow行的限制。
disallow:该项的值用于描述不希望被访问的一组url,这个值可以是一条完整的路径,也可以是路径的非空前缀,以disallow项的值开头的url不会被 robot访问.例如"disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html."disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条disallow记录.如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
allow:该项的值用于描述希望被访问的一组url,与disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以allow项的值开头的url 是允许robot访问的.例如"allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html.一个网站的所有url默认是allow的,所以allow通常与disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有url的功能。
使用"*"and"$":baiduspider支持使用通配符"*"和"$"来模糊匹配url
"*"匹配0或多个任意字符。
"$"匹配行结束符。
最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。