今天客户的网站说在大批量的采集数据、发布数据的时候,网站打不开说,问题说是不是云主机的问题,今天我来给大家讲讲解决办法。
我看了客户网站的一些数据,基本上符合采集数据的特征。他们在短时间内大批量的实用采集发布一体的软件进行发布文章数据,虽然文章占用的空间和带宽并不大,但是对于并发数并不高的网站来说,同时发布(一般是一秒钟几百条数据)几百条数据的时候,云主机的带宽肯定接受不来,导致宕机。
为了证实我的猜想,我看了一些带宽占用情况,基本上属于满载级别。有人会问,你上传的带宽满了并不影响网站的打开啊,因为网站的打开主要是下载流量。这里我的解释是,带宽不满道一定的程序网站是不会说打不开的。采集的时候带宽完全满了,导致你打开网站的请求都发布过去,所以网站才会打不开。
那么导致网站打不开的原因就非常清晰了。
采集大批量数据导致网站打不开
为了解决这种批量导入数据导致网站打不开的情况,我资讯了专业的服务器托管技术员,他们的分析也基本和我保持一致,就是带宽满了。
在我们明确了问题所在的时候解决的办法就多了:
1.增加带宽
我刚才说的客户的那个网站,他是5M 独享,他发布数据的频率基本上是一秒钟上百片文章的量,按照5M带宽的上传极限600kb/s来计算,这个估计得要20M 的带宽才行。这对于云主机来说,这个宽带是很贵的。

2.降低采集发布的频率
带宽满的直接原因是上传发布数据并发数太多,这时候我们降低并发数,留一定的带宽给网站请求即可。反映在操作上就是降低采集的数据的发布的频率即可。以前每秒100个,现在降低到50个即可。

以上就是 今天关于采集发布数据时候网站打不开的解决办法,供大家参考。