有人展示一条不断上涨的策略曲线。你发现它在四月三十日收盘就买入了年报很好的公司,但年报实际在当天晚间才公布。即使后面收益算得一分不差,这笔交易也用了当时不知道的答案。回测首先要排除这种问题,再谈曲线好不好。
学习目标
你应能追查一笔模拟交易当时知道什么、怎么买到、最终还剩多少钱;识别提前知道结果、漏掉失败股票和反复挑最好版本的问题,并写出比较标准与否定条件。
回测是带假设的历史模拟。它能排除明显错误,估计某套规则在特定历史中的行为,却不能证明未来必然有效。漂亮净值首先是待解释对象,而不是投资结论。
原理与适用边界:重建当时的决策
回测是用历史数据模拟一套规则过去会怎样运行。它像重做旧题:能检查规则是否自洽、在某段历史里经历什么,却不能保证以后重现。同一条曲线可以来自可靠规则,也可以来自无意中的偷看答案。
先画信息时间线。假设是“四月三十日收盘 → 当天晚间公告 → 之后可交易时段”,依赖公告的决策只能在公告可得之后发生。报告写着十二月三十一日,不表示去年年底就知道内容;报告期、公告时点、修订时间与实际可获取时间,应分别记录。这就是时间点数据要解决的问题。
还要还原“当时能买谁”。若只用今天还存在、还在指数里的股票回看过去,后来失败退市或被剔除的对象被删了,模拟就像只保留后来毕业的学生。它常被称为幸存者偏差 ;历史股票池应保留当时名单及其后变化。
最后分清用于比较收益的价格,与真的能成交的价格。 复权是为了把分红、拆分等影响放在一致尺度上比较历史价格;调整后的数字不一定是那天交易屏幕上的实际价格。算现金占用、涨跌停和成交时不能不加区分地照搬;停牌也不能假设随时能买卖。
从信号到净值的七个检查点
- 选样 :股票池和剔除规则是否按当时状态形成,上市不足期是否被事先排除。
- 信号 :数据何时可见,滚动窗口有没有包含未来;信号计算、决策与订单时间是否分开。
- 调仓 :频率与订单有效期是否固定,资金是否足够;同一天多个订单按什么顺序撮合。
- 仓位 :目标权重与实际持仓是否区分,部分成交、停牌和公司行为后如何更新。
- 退出 :止损是否真的成交,涨跌停、跳空、借券失败和当日买卖限制是否处理。
- 成本 :按历史适用制度及真实账户条件处理费用、税费、价差、冲击、融资和产品费用,不能默认今天费率适用整个历史。
- 失效 :什么结果会使策略被撤回,是否事前写好,而不是每次失败后追加例外。
Backtrader 官方教程展示了信号后下一根价格执行、订单通知与佣金设置。它解释引擎如何工作,不代表默认设置已经覆盖 A 股全部制度。官方示例
假设案例:一点摩擦足以抹去优势
第一组输入:账户 100,000 元,这次预计毛赚 0.10%;调仓买卖金额合计 120,000 元,每一元成交额的综合成本假设为 0.15%。
先算没扣成本的收益:100,000×0.10%=100 元。再算实际需要付出的摩擦:120,000×0.15%=180 元。相减为 −80 元,即账户的 −0.08%。原因是收益按账户资产计算,成本按买卖成交额计算;两个分母不同,不能直接比较 0.10% 与某个含糊的换手数字。
第二组输入:净值从 100 升到 120,再跌到 90。 回撤衡量从此前高点损失多少,所以是(120−90)÷120=25%,不是相对最初 100 的 10%。想从 90 回到 120,要涨(120−90)÷90=33.33%。这组数只讲清分母,不表示未来一定恢复。
第三组是假设的筛选实验:一百个相互独立且实际上无效的检验,每个有 5% 概率误报。每个不误报的概率为 0.95,一百个都不误报为 0.95 的一百次方,因此至少一次误报约为 99.4%。现实策略彼此相关,不能直接用该比例估计真实误报;这个例子只说明,只展示最漂亮的一次会大幅误导。
样本外与滚动验证
可以把研究分成三次不同用途的做题。 训练段用于形成规则或拟合模型,像平时练习; 验证段用于在少量候选之间选择,像模拟考试; 独立测试段用于检查已冻结的最终方案,像暂时不拆封的考卷。
训练用于拟合,验证用于选规则,独立测试用于检验已经冻结的方案。看过测试结果后再修改,测试数据就参与了开发,失去独立性。
按时间顺序可以画成“较早数据开发 → 后一段有限选择 → 更后一段独立检验”。如果看完最后成绩又改阈值,这张考卷也参与了学习,就不再是未见检验。普通规则未必需要拟合模型,但同样需要区分用来想办法的数据和用来检验办法的数据。
样本外就是没有用于设计和选择该方案的样本,不是某个文件夹的名字。 滚动验证则不断重演过去的部署:只看某时点以前的数据,训练后向前测一段,再把时点往前移。用固定长度还是越积越长的训练区间、多久更新,都要事先决定。
仍需防止时间线交叉。例如训练最后一天的“未来五日收益”会用到后面五天;若后一天就进入验证,这道训练题的答案已经取自验证期,跨界样本应剔除。把股票日数据随机打乱也有问题,同一天的共同市场变化可能分别落入两边,并非独立旧题。
Bailey 等人讨论了只留出一段数据仍可能低估反复尝试的问题,并提出相应诊断方法。其组合对称交叉验证是一种特定研究工具,不代表可以忽略时间顺序。原始论文
示范规则:验证协议
先冻结一套简单双因子规则:历史可交易池、月度信号、下一可成交日调仓、二十只等权、排名缓冲退出,记录所有费用假设。这个例子用于教学,不是待推广的已验证策略。
开发时保留全部版本和尝试次数,先检查错误,再做有限参数邻域比较;不能只保存最优版本。独立测试时一次性报告净收益、回撤、换手、现金、未成交及行业规模暴露。另给基准:市场全收益用于判断是否胜过市场,风格基准用于判断是否只是承担了价值或小盘风险。
压力情景包括成本翻倍、执行延迟、剔除最小市值、缩小参与成交量和排除最强单年。结果变差是信息,不是马上增加过滤器的理由。若收益完全依赖一个特殊年份或无法成交的小票,应明确限制结论。最后在冻结规则下做模拟跟踪;模拟本身也不等于实盘成交。
常见失败
高胜率可能掩盖少数巨亏;高夏普可能来自平滑估值、短样本或忽略尾部;高年化可能只是把很短阶段外推。自相关和波动变化也会影响按平方根时间缩放的指标。指标必须伴随样本期、频率和计算口径。
更隐蔽的是“测试集旅游”:不停换开始时间、基准、股票池和参数,直到找到满意结论。即使每次单独看都称样本外,整体仍参与了选择。应问总共试了多少套,而不只是最终这套有没有保留测试期。
练习
某策略十笔交易中九笔各赚 1 元、一笔亏 12 元,胜率和毛收益分别多少?若年报在四月三十日晚公布,四月三十日收盘用该数据买入是否合理?回看测试结果后更改阈值,还能称该测试期未参与开发吗?
参考答案
先完成练习,再展开参考思路
胜率 90%,毛收益为 −3 元,费用会继续降低结果。晚间公告不可用于此前收盘决策;最早应在公告后可成交窗口执行。修改阈值使测试期参与开发,下一轮需要新的独立证据,而不是重新贴样本外标签。
已读原始来源与核验日期
核验日期:2026-10-29。阅读论文摘要、引言及留出法讨论,以及官方执行教程;没有下载行情或运行回测。
- Bailey 等,2015,The Probability of Backtest Overfitting。
- Backtrader 官方 Quickstart。
- scikit-learn:TimeSeriesSplit:已读时间顺序与 gap 定义,工具不会自动理解金融标签区间。
下一步读机器学习与 AI 辅助。