分类:开源项目

参照PySpider官方网站上http://docs.pyspider.org给出的框架api开发文档进行翻译,再此记录分享一下,便于后期更方便的使用pyspider。
这次的目标是NVD美国国家信息安全漏洞库,爬虫框架依旧选用我钟爱的PySpider
开源项目 漏洞库 开源项目
CNNVD相对CNVD的爬取更简单一点,当前并未遇到明显的爬虫限制机制
开源项目 漏洞库 爬虫 开源项目
近期工作中需要爬取整个CNVD的漏洞库,之前写的爬虫是跑ICS.CNVD的库(见之前文章 工控安全:分享自己的工控爬虫项目—PySpider-ICS ),本以为改改就能用,没想到,CNVD主站有几道反爬虫机制,这里记录一下我的解决之法。
开源项目 漏洞库 爬虫 开源项目
前言首先是因为接到一个任务:需要对工控常见协议的识别流量进行收集。
此项目用来记录使用pyspider爬虫框架爬取工控相关数据(漏洞、预警、安全事件等)