研究中的过拟合与信息局限
安排独立验证，记录参数尝试，避免拿见过的历史当未知样本。
本页目录
开始前
准备规则、尝试过的参数与每次结果。验证的重点是方法能否在没参与选择的资料上继续成立，而不是找到一条最漂亮的曲线。
操作步骤
- 在看结果前定义问题、参数范围、基准和失败条件。记录每一次尝试，包括结果不好的版本。
- 按时间划分开发与验证区间，不让验证资料参与原始选参。
- 第一次验证后若根据结果修改方法，要把该区间视为已看过，再安排新的未参与资料。
- 检查邻近参数和不同市场阶段，观察结果是否只在一个狭窄点成立。
- 最后核对缺失、退市、停牌与未来信息是否影响结果；数据不完整时说明覆盖范围。
时间切分示例
| 阶段 | 教学区间 | 允许做什么 |
|---|---|---|
| 开发 | 2021年至2023年 | 形成规则、尝试参数，记录次数 |
| 首次验证 | 2024年 | 按事先规则观察，不用结果事后重选 |
| 再次修改后 | 2024年已见过 | 把它归入已用资料，不能再称独立未知样本 |
| 后续验证 | 另选未参与的适用区间 | 按冻结规则验证，并记录可用样本长度 |
实验记录
版本：
修改参数：
修改理由（看结果前）：
开发区间：
验证区间：
数据版本与覆盖：
成本/成交假设：
结果与失败条件：
是否看过验证结果后再次修改：常见问题
| 遇到的情况 | 处理方法 |
|---|---|
| 验证区间已经反复调过 | 它不再是独立验证资料，另设验证或明确探索性质。 |
| 最佳参数很好，相邻参数很差 | 检查规则是否过度贴合数据，不把最佳一点当稳定能力。 |
| 用今天的股票名单回测很久以前 | 核对历史成员和退市对象，避免只留下今天存活的公司。 |
完成后检查
结果应是一套有时间顺序的实验记录，而非单个最高收益版本。样本外不佳也是有效信息，不能删掉后再宣称验证通过。
下一步
有多轮选择时保留全部尝试；若仍缺独立验证，先将结论限定为探索性结果。