Robots.txt文件放在哪里[朗读]

robots.txt文件应该放置在网站根目录下.举例来说,当spider访问一个网站（比如 http://www.abc.com）时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
网站url
相应的robots.txt的url
http://www.w3.org/。
http://www.w3.org/robots.txt
http://www.w3.org:80/。
http://www.w3.org:80/robots.txt
http://www.w3.org:1234/。
http://www.w3.org:1234/robots.txt
http://w3.org/。
http://w3.org/robots.txt