我与爬虫的对抗

xioy
2024-08-30 / 0 评论 / 6 阅读 / 正在检测是否收录...
温馨提示:
本文最后更新于2024年10月04日,已超过65天没有更新,若内容或图片失效,请留言反馈。

1. 丸辣

1.1 完犊子了

快到月底了,是时候查看一下各项服务,看看有没有什么需要续费啥的。

查看到我的存储桶时候,兴奋了。这个月产生的流量是上个月的三倍,这说明使用网站的人变多了,能不高兴吗。但是查看完日志后我就没心情了。

查看存储桶这一个月的总流量为:1G,约上月流量的3倍。

1.2 查日志

翻看日志,分别在8月的6、13、14、16日,流量全都异常。在这几天公众号没有发文,发文的资源都可以在后台获取到,平台在这几天陡然产生大流量肯定不正常。

继续看日志,在8月6日当天产生了1千多次get的请求,这种流量应该是在爬站。

还有PUT的请求方式。这一看就是冲着攻击来的,目的是想上传文件。在8月的2、24号请求最多。8月一共产生PUT请求方式370次。

流量主要流向江西省

为了后续减少损失抓紧做对应防御吧。

2. 加固

2.1 存储桶

首先在创建存储桶时设置的权限就是只允许公共读,不能写。所以那些PUT请求没能成功把文件上传到存储桶中。

2.2 爬站

流量变大还存在另一种情况。有的在爬站时不但直接爬取内容,而且为了减少运营成本还会直接使用原作者提供的资源地址。

文库中的图片我全都放在存储桶中,对方为了减少运营成本直接复制图片链接粘贴到他的项目中同样可以达到展示的效果。

就这样别人吃着火锅还唱着歌,躺着就赢了。我这边赔了夫人又折兵。不但被抄家,而且双方在使用资源时存储桶产生的流量费用还要我一个人掏钱。
应对这样的情况存储桶可以开启防盗链功能,只允许我自己的域名才能使用资源。

2.3 高防

另外还可以开通OSS高防服务,不过费用非常高,我承受不起。

3. 上科技

3.1 雷池

爬站过程中肯定会产生较多的流量和访问速度,这时候就可以在服务器上安装一个waf来检测和限制访问。不但能防护恶意攻击,还能减少资源的浪费,美哉。

做安全的长亭无人不知,他的雷池在业界有着很高的地位。不太了解的请自行百度。所以我选择雷池帮我守护。

3.2 准备

我使用了两台服务器分别运行waf和业务,如果把waf和业务都放在同一台服务器上运行那么服务器的负载会很大。

下面是waf的工作原理图

3.3 部署

雷池是采用容器化部署、运行的,如果服务器没有安装docker也没事,官方提供的一键部署命令可以自动安装docker。

这是没有安装docker运行一键部署的效果,按照指引就可以安装所需环境。

这是已经安装docker运行一键部署的效果,自定义安装目录即可安装。

安装完成后会给出管理地址和管理员的账号密码。

3.4 配置

通过ip:9443即可访问到服务,输入刚刚的账号和密码即可登录

首先建议把域名的解析地址解析到cdn或者waf的ip,这样的好处就是有效的避免业务服务器的ip泄露

先看一下业务服务器上的配置,开了81、82、83、84端口分别对应不同的业务。建议同时开启限制访问业务的ip,下图中我设置允许访问业务的ip是waf服务器的ip,也就是说只有经过waf的ip才可以访问和使用业务。

假如攻击者知道了业务服务器的真实ip,直接跳过waf通过业务服务器ip来访问业务,他照样无法访问服务,因为我限制了使用服务的ip地址。

3.5 配置防御

在防护站点-站点管理功能中,填写需要防护的业务域名、waf的监听端口和业务服务器地址即可完成。

防护按需配置



最后就可以开心的玩耍啦。

0

评论 (0)

取消