获取国家药监局官网上的GSP认证信息¶

任务概述¶

获取各个省份的药企GSP认证信息

• 检索页面

• 搜索结果

• 详情页面

• 数据样本

页面分析¶

服务器信息：¶

web服务器：tengine

前端框架：Vue

反爬手段：¶

• 无限debugger妨碍调试：如果直接打开F12进行调试，会进入无限的debugger无法进行抓包。如果禁用了调试功能则会爆内存。（这是最主要的难点，如果可以正常通过F12抓包分析，那么再难的网站总能找到突破口）
• cookie黑名单：一旦出现疑似爬虫的行为就会被注入黑名单cookie，只有清除了相关cookie才能继续访问
• 动态加载数据：查询详情页面的数据都是通过Ajax动态加载的，每次的请求都只包含少量的数据
• js加密：网页上的js代码都是经过丑化加密的，无法解读逻辑
• 复杂的页面交互逻辑：即便使用selenium模拟用户点击也无济于事，模拟的点击始终无法达到和真实用户点击一样的效果

解决方案¶

❌没有解决方案，鄙人实在是搞不懂这个网站。

✔️可能的解决方案是通过selenium模拟用户点击，但是我还没找到绕过该网站检测的方式。

但是根据网站的Q&A：

4.药品经营企业、GMP认证、GSP认证问题

数据来源于省级药品监管部门，如果未查到数据或者公开内容和证书信息不一致，请联系企业所在地省级药品监管部门，由省级药品监管部门通过国家药品监管数据共享平台更新或补录数据。

我转而从各个省自己的药监局下手，果然省级的和国家级的技术天差地别。

就以湖北省药监局的GSP查询为例：

页面逻辑很简单，服务器也是单机java服务器（域名都懒得搞，直接用ip），抓起来很舒服。

具体如何实现，以及其他省市的情况下篇再聊。