自己写的爬虫，头两周跑得挺顺，第三周开始报错：有时返回空页，有时字段少了一列，有时直接连不上。修一次能撑几天，再坏一次。这时候该认真考虑换数据源了，而不是继续打补丁。

先说爬虫的问题在哪。网页是给人看的，结构随改版变动，你的解析规则跟着一起碎；站点还有访问频率限制，跑全市场日线动辄几千次请求，很容易被拦；返回的是文本，价格要清洗、复权要自己算、停牌要自己判断。这些工作量不体现在代码行数上，体现在你每周要花多少时间维护。

QMT 这类终端提供的是本地行情服务，数据由数据商统一整理，字段命名固定，复权方式有明确选项，日线和分钟线都能取。调用方式是接口加字段名，不用解析页面。代价是终端要在线、账号要有对应权限、能取的范围受版本限制，不是所有品种都有。

怎么选，按用途分。做日线级别的选股和回测，两者都行，优先选终端，因为省下的是长期维护时间；做分钟级甚至更细的盘中逻辑，终端更合适，网页抓取的时间粒度和稳定性都撑不住；需要一些终端没有的另类数据，才回到抓取，而且只抓那部分，别全量自建。

切换时别一把梭。第一步，选定重叠的时间区间和标的，两边各拉一份日线，逐列比对开高低收和成交量，差异超过容差的记录下来找原因，常见是复权口径不同。第二步，把分钟线也对一遍，重点看开盘第一分钟和收盘最后一分钟，这两处最容易出现缺失或重复。第三步，把取数逻辑封成一个函数，策略里只调函数，将来再换源只改一处。

判断标准是：同一份策略代码，换源前后在相同区间跑出来的信号差异，能逐条解释清楚。解释不清就先别切，说明你还没弄懂两边的口径差别。

股票/量化开户欢迎找我！满足条件股票佣金万0.854、etf 可转债佣金万0.5、国债逆回购一折（百万分之一）！期权1.8元一张全包价！量化软件QMT+ptrade免费使用！还有888、999资金靓号等你选！