一对一直播源码服务器怎么样防范恶意爬取信息

发布来源:云豹科技
发布人:云豹科技
2022-01-24 10:03:55

一对一直播源码运行的过程中,产生的数据会存储在服务器上,对于任何一个平台来说,数据安全是数据存储最需要解决的问题。除了恶意访问、域名劫持等数据问题,有些爬虫会恶意爬取网站信息,这时候就需要进行进行拦截,防止数据泄露。

一对一直播源码可以按需配置nignx环境和Apache环境,实现拦截,具体操作步骤如下:

一、Nginx环境下配置:

1.创建配置文件

例如进入到nginx安装目录下的conf目录,创建: test..conf

内容如下:


 
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
     return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|
FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|
CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|
Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|
lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|
YandexBot|FlightDeckReports|Linguee Bot|^$" ) {
     return 403;             
}


2. 在网站配置文件中引入上面创建的配置文件


Include test.conf;


3. 重启nginx服务生效


systemctl restart nginx

 

二、apache环境下配置

1、修改 httpd.conf 配置文件

添加以下代码,重启 Apache生效


Shell
DocumentRoot /home/wwwroot/xxx
SetEnvIfNoCase User–Agent “.*(FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)” BADBOT
Orderallow,deny
Allow fromall
deny fromenv=BADBOT


三、测试

1、使用curl -A 模拟抓取即可,比如:


curl -I -A 'Spider' www.test888.cn


结果如下:


[root@test]# curl -I -A 'Spider' www.test888.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2021 11:35:21 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive


以上,就是一对一直播源码拦截爬虫爬取信息的内容,防止恶意爬取只是保障数据安全的其中一种安全策略,要想了解更多安全策略,可以关注一下后续内容。

声明:以上内容为云豹科技原创,未经作者本人同意,禁止转载,否则将追究相关法律责任www.yunbaokj.com

声明:
以上内容为云豹科技作者本人原创,未经作者本人同意,禁止转载,否则将追究相关法律责任
立即查看