做过回测的人都有过这种体验：调完参数，发现某段时间表现很差，于是回头改，改完再跑，直到整条曲线顺眼。这个过程看起来很自然，实际上是把手里的全部数据都用完了，最后得到的结论没有任何预测力。

一、什么是样本外

把历史数据分成两部分：一部分用来研究、调参、选因子，叫样本内；另一部分完全不参与研究，只在最后跑一次，叫样本外。

关键在"完全不参与"。只要你因为样本外结果不好而回头改策略，这段数据就被污染了，它变成了样本内的一部分。

二、为什么必须留

策略研究的本质是在大量可能性中挑出一个看起来最好的。挑的次数越多，挑中的那个越可能只是运气。样本外数据是这个过程的唯一解药，它提供了一次没有被挑选过的检验。

没有样本外，你无法区分两种情况：策略真的有规律，还是数据里恰好有这么一段。

三、怎么切

常见做法是留最近一到两年做样本外。这样做的优点是贴近当前市场，缺点是如果市场结构在此期间发生剧变，结果会失真。

另一种是滚动前推：用前五年训练，第六年测试；然后窗口后移一年，用第二到第六年训练，第七年测试，重复多次。这样每个年度都当过测试集，得到的是策略在时间上的稳定性，比单次切分更可信。

四、跑完不满意怎么办

这是最难的部分。正确的处理是接受结果，记录在案，然后重新设计策略，用新的样本外数据检验。而不是微调参数再跑一次同一段数据。

实际操作中，如果一次不满意就重来，反复多次，样本外也会被间接污染。所以更严谨的做法是只给自己有限次数的尝试机会，比如三次，用完就换方向。

五、样本外通过之后

通过了不代表可以放心上实盘。样本外只说明策略在那段没见过的数据上没崩，还需要小资金实盘验证一段时间，看真实成交、真实滑点下的表现。

六、把纪律写下来

建议在研究开始前就写下：数据切分点、允许的尝试次数、评价指标、通过标准。写下来之后严格执行。这份记录比策略本身更能反映研究的可靠性。

样本外检验不是为了证明策略好，而是为了在它还来得及被否定的时候否定它。

股票开户欢迎找我！可以申请万0.854的股票佣金、etf 可转债佣金万0.5、国债逆回购一折（百万分之一）！量化软件QMT+ptrade免费使用！还有888、999资金靓号等你选！