先写死标准,再跑数据
——预注册到底在防什么
目 录
- ⚠️ 阅读须知(请先读完这一段)
- 引子:一个深夜,我差点把标准改掉
- 一、先说结论
- 二、为什么"跑完再定标准"必然自欺
- 2.1 你不是在验证,你是在挑选
- 2.2 事后解释的引力
- 2.3 本文要解决的就是这一段
- 三、一份预注册写什么(七块)
- 第一块:命题——写死方向,或者不预设方向
- 第二块:数据资格——先审数据,再跑分析
- 第三块:实验规格——细到别人能照着复现
- 第四块:对照——必须同期跑,而且要有"随机组"
- 第五块:弃用清单——明确"不碰什么"
- 第六块:预期结果的分叉——跑前写好每一条出路
- 第七块:冻结纪律——怎么防逃逸
- 四、起草版 vs 冻结版:中间那一道攻击轮
- 五、冻结之后,怎么知道自己真的守住了
- 六、这套东西对不做研究的读者有什么用
- 七、这条方法的边界(诚实清单)
- 金句墙
- 行动清单:把预注册用到你自己的判断上
- 数据来源与素材说明
- 免责声明
类型:原创方法论 | 素材:作者自建研究审计规程 + 8 份预注册冻结文件 系列:私家智囊·研究 第 5 篇 | 成稿:2026 年 9 月
⚠️ 阅读须知(请先读完这一段)
- 本文不是投资建议,也不构成对任何证券的评价。 本文通篇讲研究方法,不涉及任何具体标的。
- 本文所有数字都是历史统计或规则设定,不是收益预测,也不表示未来会发生同样的结果。
- 本文的方法来自作者自己的研究实践,不是行业通行标准,也不是学术规范的全貌。它能解决一类问题,不能解决所有问题。
- 本文的实例取材于作者已完成的研究,结论多为"否证",即证明某个想法不成立。这类结论不适合用来推断"什么一定能成"。
- 本文的方法与数据来源见文末,欢迎复核。
引子:一个深夜,我差点把标准改掉
一个实验跑完了。结果不好看。
我当时的第一个念头不是"这个想法可能不成立",而是——"是不是窗口选错了?换成 60 天试试。"
第二个念头是:"是不是分组方式太粗?分十组可能就显著了。"
第三个念头最危险:"这个结论其实也不算失败,因为它揭示了一个更深层的机制……"
三个念头,一个比一个体面。而它们全都是同一个动作:先看结果,再定标准。
这就是本文要讲的事——预注册:在跑数据之前,把"什么算成功、什么算失败"写死。
一、先说结论
- 先看结果再定标准,几乎必然自欺。 不是你人品有问题,是这个过程本身没有防线:你不可能"假装自己没看过结果"。
- 标准必须在跑数之前写死,而且要写到"未来的自己无法改动"的程度。 这句话是整套方法的全部要点。
- 最反直觉的一条:要先写清"如果我错了会怎样"。 把反面结果的分叉提前写好——包括"这个想法就此终止"。
- 光写标准不够,还要防逃逸。 人会换指标、换窗口、换样本,直到找到显著的那一个。所以必须加一条:不许换。
- 这套方法不保证你赢,但保证你输得明白。 它的产物主要是"我错了,而且我事先就承认了会错"。
二、为什么"跑完再定标准"必然自欺
2.1 你不是在验证,你是在挑选
假设你有一组数据,想找一个有效的方法。可调的东西有哪些?
| 可调项 | 常见取值数 |
|---|---|
| 观察窗口 | 5–10 种 |
| 分组数量 | 3–10 种 |
| 持有期 | 3–5 种 |
| 入场阈值 | 连续可调 |
| 成本假设 | 3–5 种 |
这些乘起来,是几千到几十万种组合。 而只要试得够多,总有一个组合会"看起来有效"——不是因为规律存在,而是因为随机本身就会造出局部的好看。
先看结果再定标准,等于从几万种组合里,挑出最好看的那一个,然后声称"我验证了它"。
这不是验证。这是在噪音里挑形状。
2.2 事后解释的引力
比挑选更隐蔽的是解释:
- 结果好 → "机制得到了验证。"
- 结果差 → "市场结构变了 / 样本期太短 / 这个指标在这个市场不适用。"
两种情况都不需要修改原假设,只要换一套解释就行。而解释是免费的,永不枯竭。
我自己最典型的一次:某个"低位买入"的判据曾被我当成重要发现,后来发现它和另一个变量高度共线(相关系数 0.97),实际贡献接近零。但它看起来是有道理的——这就是它危险的地方。
2.3 本文要解决的就是这一段
预注册要做的,是在"结果"和"标准"之间插一道时间锁:
错误顺序: 跑数据 → 看结果 → 定标准 → 声称验证
正确顺序: 定标准 → 冻结 → 跑数据 → 对表 → 接受结果
三、一份预注册写什么(七块)
以下七块,来自我自己用的一套规程。每一条都对应上面某一种自欺方式。
第一块:命题——写死方向,或者不预设方向
命题必须是一句可以被数据判死的话,不能是"XX 有一定作用"。
更进阶的写法是双向设计:不预设方向,把两个方向的结论都写好。
★ 案例(横截面动量研究): - 若强的那一组未来显著强于弱的那一组 → 动量成立,追强方向可用; - 若弱的那一组反而更强 → 反转成立,"追强"方向错误,该项研究终止; - 若两者都不显著 → 现象不存在,终止并归档负结果。
注意第二条:我在跑数之前就写好"如果方向反了,是我错"。 这句话的存在,让事后解释失去了出口。
第二块:数据资格——先审数据,再跑分析
在跑任何数据之前,先回答:这批数据够不够格支持这个分析?
要审计的典型项目:
| 审计项 | 要问的问题 |
|---|---|
| 幸存者偏差 | 样本里是否包含已经退出的个体?只留活着的,结论会系统性偏乐观 |
| 价格口径 | 信号用哪个价、收益用哪个价?两条轨道不能混 |
| 停牌处理 | 停牌日怎么定义、算不算样本? |
| 不可成交 | 涨停/跌停那些天,实际买得进去吗? |
| 缺失字段 | 数据里没有的字段(行业、状态标记)如何声明局限? |
这一块的价值在于:即使分析跑出来很漂亮,只要数据资格不过关,结论就直接作废——不需要讨论结果。
★ 案例:某次审计中,有一项数据"逻辑上说得通,但拿不出连续可考证的历史序列"。判定:逻辑再好,数据资格不过就停。 该研究在跑数前终止。
第三块:实验规格——细到别人能照着复现
包括:样本范围、频率、信号的精确定义、分组方式、成本假设、统计检验方法。
两个容易偷懒、也最要命的地方:
① 成本必须前置。 有的研究先跑毛收益,想着"成本以后再说"。成本一旦后置,它就成了最后一根救命稻草——结果好就说"成本影响不大",结果差就说"扣了成本就不行"。
★ 案例:我在规格里直接把成本写进第一轮:佣金双边、卖出印花税、每边滑点,并且明确规定"判定用净收益,不用毛收益"。理由写在文件里:不让成本后置把结论杀掉。
② 不可成交的情况必须处理。 在涨跌停限制下,"看到信号"和"买到"是两件事。规格里写死:当日涨幅超过某个水平即视为不可买入;连续不可成交则整期剔除;若剔除后有效样本不足一半,该期不参与统计。
第四块:对照——必须同期跑,而且要有"随机组"
只报告"我的方法收益 X%"没有意义,必须有同期对照。我在规格里固定三组:
- 全样本等权(基准)
- 按规模分层(检验效应是不是只在小盘上)
- 随机组合(模拟几百次)——这一组专门用来回答:"我这个方法的差异,会不会只是抽样噪声?"
第五块:弃用清单——明确"不碰什么"
写在跑数之前:这次实验不碰哪些指标、不做哪些操作。
★ 案例(原文摘录改写): 均线排列、技术指标组合、多因子合成评分、机器学习、参数优化、"最优窗口"搜索、行业中性加权、外部宏观变量、杠杆。
这一块是给我的手准备的镣铐。 因为"再加一个条件试试"永远是最诱人的动作。
第六块:预期结果的分叉——跑前写好每一条出路
把可能出现的每一种结果,连同对应的结论,提前写好。
★ 案例(原文结构): - 成立且稳健 → 进入下一阶段(具体做什么,写清) - 只在特定子样本成立 → 标注"规模依赖",复活需重新预注册 - 方向相反 → 原方向终止,按"发现反转"归档正结果,不硬改原命题 - 全都不显著 → 终止,写负结果归档
最后一条最要紧:在结果出来之前,我就已经写好"如果什么都不成立,这件事就结束"。
第七块:冻结纪律——怎么防逃逸
这是全文最重要的一块。三条:
| 情形 | 纪律 |
|---|---|
| 结果难看时 | 不换指标、不换窗口、不换样本、不解释掉 |
| 结果好看时 | 先过独立反方复核,再谈下一步 |
| 想改标准时 | 只能重新写一份预注册,不能改原来那份 |
★ 案例(原文最能说明问题的一条): 某次归因研究中,一个变量是全样本里仅此一个统计量超过 5 的变量。纪律里写明:"若它不过关,不得回头从其他候选变量里挑'刚好显著'的来救。"
这句话把最常见的逃逸路径直接堵死了。因为"换个指标再试一次"正是自欺最舒服的形态。
四、起草版 vs 冻结版:中间那一道攻击轮
预注册不是写完就算,中间有一道对抗环节:
起草 → 盲审攻击 → 修订 → 重新编号 → 🔒 冻结 → 才开工
未经过攻击的稿子不许冻结;未冻结的稿子不许跑数。
攻击不是走过场,有一份固定的攻击清单,逐项去挑:
前视偏差 · 幸存者偏差 · 参数挖掘 · 成本低估 · 样本依赖 · 共同趋势 · 虚假相关 · 机制漏洞
我自己的实践里,这道环节真的抓到过东西:撰写方自己漏做了一项"证明它有效"的检验,被独立复核的一方发现。补做之后结果不利,那个项目的等级被下调。
如果攻击什么都没发现,那反而该担心——要么流程走了形式,要么复核的人不够独立。
五、冻结之后,怎么知道自己真的守住了
有一条可以直接自测:
把预注册文件和你最后的报告并排放。 报告里的判定标准,和预注册里写的是不是同一套?
如果报告里出现了预注册里没提过的指标,或者判定从"这组"换成了"那个子样本",或者结论的措辞从"不成立"软化成了"在一定条件下有参考价值"——
那就是破例了。 破例不一定错,但必须写明:什么时点、出于什么理由、改了哪一条。可以改,但不能静默改。
六、这套东西对不做研究的读者有什么用
有。它的核心不是金融技术,而是怎么在"结果已经摆在眼前"的情况下,仍然保持判断力。
同一套逻辑换个场景就是:
| 场景 | 预注册的写法 |
|---|---|
| 减肥 | 先定:一个月后体重降不到 2 公斤就算失败。不允许事后改成"体脂率降了也算" |
| 学外语 | 先定:三个月后能不看字幕看懂一集。不允许事后改成"语感变好了" |
| 项目复盘 | 先定:这个月的两个关键指标是什么。不允许事后挑出好看的那个汇报 |
共同点:在还没出结果的时候,把话说完。
这不是为了严苛,是因为结果出来之后,你就不再是中立的了。
七、这条方法的边界(诚实清单)
- 它只适用于"能事先定义判据"的问题。 探索性研究、纯描述性观察,不适合套这套流程。
- 预注册不能提高研究的质量上限,它只能压低"自欺"的比例。设计得再规矩,数据本身不好也白搭。
- 冻结不等于正确。 冻的是一套判据,不是结论。判据本身可能设计得不好——所以才有"重新预注册"这条路。
- 样本量是硬约束。 在有效数据只有二十年量级的市场里,很多检验的统计功效本身就有限,结论必须标注这一点。
- 这套流程有成本,而且它防的是自己。 一份合格的预注册,写起来比"先跑跑看"慢得多;它的真正对象是几个月后那个已经知道答案的你。
金句墙
先看结果再定标准,等于从几万种组合里挑出最好看的那一个,然后声称"我验证了它"。
在跑数之前,我就写好"如果方向反了,是我错"。
它不是为了让你赢,是为了让你输得明白。
成本一旦后置,它就成了最后一根救命稻草。
"换个指标再试一次",是自欺最舒服的形态。
可以改,但不能静默改。
这不是为了严苛,是因为结果出来之后,你就不再是中立的了。
行动清单:把预注册用到你自己的判断上
- 下一件你要做决定的事,先写下判据。 不是目标,是判据——"什么算成、什么算不成"。
- 写下反面分叉。 如果结果是相反的,你会得出什么结论?如果这条写不出来,说明命题本身不清晰。
- 把"爱看的指标"排除出判定。 想一个你最希望出现的数字,然后规定它不作为通过标准。
- 规定一条防逃逸条款。 明确写:结果不理想时,不许换哪些东西再试一次。
- 定一个复盘时点,并记录每一次破例。 到那天只做一件事:把当初写的判据拿出来对表;破例可以,但写清时点、理由、改了哪一条。
数据来源与素材说明
| 项 | 说明 |
|---|---|
| 素材性质 | 作者自建的研究审计规程与实践记录 |
| 素材范围 | 一份研究规程总纲 + 8 份预注册/冻结文件(2026 年,自成稿前已完成) |
| 案例来源 | ★ 全部为作者本人研究实践的整理(原创),非引用第三方研究成果 |
| 数字口径 | 文中的成本参数、阈值、检验标准均为该研究规程中的设定值,不是市场结论 |
| 局限性 | 该规程为作者自用,未经过同行评议;样本量与市场结构限制见第七节 |
免责声明
本文为研究方法分享,不构成投资建议、证券推荐或任何形式的投资咨询服务。本文不涉及任何具体证券,也不提供任何可据以买卖的操作规则。文中所有数字均为研究设定或历史统计结果,不构成任何收益预测或业绩承诺。任何人依据本文内容作出的决策,风险自负。
本文属「私家智囊·研究」系列。同系列已发布:开栏篇《从企业价值到资本配置》,第 2 篇《"跌了这么多,总该抄底了吧"》,第 3 篇《"涨得多的,以后还会涨"》,第 4 篇《怎么杀死一个看起来很赚的策略》。