标签:爬虫

CNNVD相对CNVD的爬取更简单一点,当前并未遇到明显的爬虫限制机制
开源项目 漏洞库 爬虫 开源项目
近期工作中需要爬取整个CNVD的漏洞库,之前写的爬虫是跑ICS.CNVD的库(见之前文章 工控安全:分享自己的工控爬虫项目—PySpider-ICS ),本以为改改就能用,没想到,CNVD主站有几道反爬虫机制,这里记录一下我的解决之法。
开源项目 漏洞库 爬虫 开源项目
接上文:分享自己的工控爬虫项目—PySpider-ICS
此项目用来记录使用pyspider爬虫框架爬取工控相关数据(漏洞、预警、安全事件等)