wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。
经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在把我自己使用的屏蔽方法分享给大家：
1. 屏蔽下载任何文件
.htaccess
1 2 3 4 5 6 | SetEnvIfNoCase User-Agent "^wget" bad_bot <Limit GET POST> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit> |
2. 屏蔽下载部分文件
.htaccess
1 2 3 4 5 6 7 8 | SetEnvIfNoCase User-Agent "^Wget" bad_bot SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot <Files ~ ".(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $"> Order Allow,Deny Allow from all Deny from env=bad_bot </files> |
Copyright © 2013-2023 . All Rights Reserved. 宵云 版权所有 南通宵云网络科技有限公司
工信部备案：苏ICP备18049042号-2
公安部备案：苏公网安备 32060102320703号
《中华人民共和国增值电信业务经营许可证》经营性ICP/ISP/IDC三证：苏B1.B2-20210805
