一对一直播源码服务器怎么样防范恶意爬取信息
在一对一直播源码运行的过程中,产生的数据会存储在服务器上,对于任何一个平台来说,数据安全是数据存储最需要解决的问题。除了恶意访问、域名劫持等数据问题,有些爬虫会恶意爬取网站信息,这时候就需要进行进行拦截,防止数据泄露。
一对一直播源码可以按需配置nignx环境和Apache环境,实现拦截,具体操作步骤如下:
一、Nginx环境下配置:
1.创建配置文件
例如进入到nginx安装目录下的conf目录,创建: test..conf
内容如下:
#禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA为空的访问 if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/| FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot| CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench| Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib| lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1| YandexBot|FlightDeckReports|Linguee Bot|^$" ) { return 403; }
2. 在网站配置文件中引入上面创建的配置文件
Include test.conf;
3. 重启nginx服务生效
systemctl restart nginx
二、apache环境下配置
1、修改 httpd.conf 配置文件
添加以下代码,重启 Apache生效
Shell DocumentRoot /home/wwwroot/xxx SetEnvIfNoCase User–Agent “.*(FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)” BADBOT Orderallow,deny Allow fromall deny fromenv=BADBOT
三、测试
1、使用curl -A 模拟抓取即可,比如:
curl -I -A 'Spider' www.test888.cn
结果如下:
[root@test]# curl -I -A 'Spider' www.test888.cn HTTP/1.1 403 Forbidden Server: nginx/1.12.0 Date: Wed, 24 Apr 2021 11:35:21 GMT Content-Type: text/html Content-Length: 169 Connection: keep-alive
以上,就是一对一直播源码拦截爬虫爬取信息的内容,防止恶意爬取只是保障数据安全的其中一种安全策略,要想了解更多安全策略,可以关注一下后续内容。
声明:以上内容为云豹科技原创,未经作者本人同意,禁止转载,否则将追究相关法律责任www.yunbaokj.com