一句话判断与论文卡片
| 项目 | 内容 |
|---|---|
| 论文 | Two Stages of Folding: Convergent Mechanisms in AI Protein Folding Trunks（arXiv:2602.06020v3，2026-02-05 首投，v3 2026-06-24） |
| 作者 | Kevin Lu*（Northeastern，lead）、Jannik Brinkmann、Stefan Huber、Aaron Mueller、Yonatan Belinkov、David Bau、Chris Wendler（通讯：lu.kev@northeastern.edu / ch.wendler@northeastern.edu；单位含 Northeastern、TU Clausthal、Harvard、Boston University、Technion） |
| 研究对象 | folding trunk——ESMFold 的 48-block trunk、OpenFold 的 48-block Evoformer、Boltz-1 的 MSA 模块 + 48-block Pairformer；聚焦 α-helix 与 β-hairpin 两类局部二级结构 motif（12–25 残基窗口） |
| 方法 | 激活补丁（activation patching）、通路消融（seq2pair/pair2seq）、线性探针、difference-of-means 方向提取、表征 steering、CKA 与 whitened Procrustes 跨模型对齐 |
| 代码/数据 | folding.baulab.info（含 reproduce.sh 与三个 demo notebook） |
| 算力 | 2× RTX A6000（48GB）；全部实验约 1,000–1,500 GPU-hours、约 2–3 周 wall-clock；单卡显存 <24GB |
架构背景一句话：三个模型都把输入加工成序列表示 s（L×ds）与 pairwise 表示 z（L×L×dz），trunk 逐 block 交替更新二者，最后由结构模块（IPA）译码为 3D 坐标。差异在于 seq2pair/pair2seq 通路的排布：ESMFold 与 OpenFold 每个 block 双向互通；Boltz-1 的 seq2pair 只存在于上游 MSA 模块（论文记为 block 0–3），Pairformer 内仅剩 pair2seq 单向通路。
方法学：激活补丁定位"结构决策"发生处
论文的实验范式是把机制可解释性里成熟的 activation patching 移植到折叠模型：取一个含 β-hairpin 的 donor 蛋白与一个含 helix-turn-helix 的 target 蛋白，在 target 前向传播的某个 block 处，把 motif 区域的 s 和/或 z 替换为 donor 的对应表示，再观察输出结构是否在补丁区域长出了 donor motif（以 DSSP 二级结构判定）。反向设置（helix donor → hairpin target）对称进行。为简化因果分析关闭了 recycling——对短蛋白影响很小（附录 H）。
- 全补丁建立可行性：对全部 48 个 block 同时补丁 s+z，约 40%（≈4,000 例）成功诱导 donor motif——证明表征携带可移植的结构信息。
- trunk 是决策位点：对照实验显示，补丁 ESM-2 编码器（33 层）或结构模块（IPA 8 次迭代）几乎无法诱导 hairpin；直接改输入序列（把 target motif 残基换成 donor 残基）的成功率也低于 trunk 补丁——trunk 中学到的表示携带超出原始序列的信息，结构决策真正发生在 trunk 内。
- 单 block 补丁揭示两种制度：序列补丁只在早期 block（k≈0–7，block 0 成功率峰值约 40%）有效；pairwise 补丁相反，约从 block 25 起效、在 block 35 附近达峰。这一"早序列-晚配对"的分段在三个模型中一致出现（Boltz-1 的 pairwise 窗口更宽，原因见 §5）。
- touch 补丁拓宽窗口：若补丁范围从"motif 内部 i,j 对"扩展到"motif 与侧翼残基的全部交叉对"，pairwise 补丁的有效窗口延伸到 block 25–47——说明晚期补丁受限于"补丁信息向外传播所需剩余 block 数"这一约束。
阶段一：早期 block 把序列化学写入 pairwise
为什么序列补丁只在早期有效？论文给出的机制是：早期存在一个短暂的 "write-in" 写入窗口，序列信息经 seq2pair（φij=[ui⊙vj ; ui−vj]）固化进 z，供下游几何计算使用。
阶段一 · block 0–10（写入）
seq2pair 通路主导：序列级生化特征（电荷等）从 s 写入 z。序列补丁在此窗口有效；冻结 seq2pair 则 z 不再向 donor 偏移。
过渡 · block ~10–25
seq2pair 贡献衰减、pair2seq 贡献上升；z 中生化特征逐渐转化为几何特征。
阶段二 · block ~25–47（几何化）
z 线性编码残基间距离；pair2seq 把接触图广播回序列注意力；结构模块把 z 的幅度读成 3D 距离。pairwise 补丁在此窗口有效。
三条独立证据支撑"写入窗口"的因果地位（ESMFold 主文，OpenFold/Boltz-1 在附录 J 全部复现）：
- 表示相似度追踪：block-0 序列补丁后，z 在约 10 个 block 内迅速向 donor 轨迹偏移（插值系数 α 趋 1）；若在 block 0–10 冻结 seq2pair，偏移完全消失；而直接在 block 0 补丁 z 无法持久——z 会回到 target 轨迹。
- 通路贡献不对称：无干预时 seq2pair 更新幅度集中在前 10 个 block、pair2seq 集中于中晚期——两条通路的"使用时段"本身就是分阶段的。
- 滑窗消融：消融起点落在 block 0–7 的 seq2pair 时，hairpin 诱导率降至近零；窗口起点超过 block 12 后完全恢复；同位置消融 pair2seq 几乎无影响——排除"扰动任何通路都会坏"的平凡解释。
写入的是"哪个"序列特征？论文以电荷为答案。β-hairpin 的两条反平行链常由面对位置上的盐桥（K/R/H 与 D/E）稳定——这是结构生物学家熟悉的生化机制。用 difference-of-means 在 s 空间提取"电荷方向" vcharge = (s̄K,R,H − s̄D,E)/‖·‖，其投影在三模型全 trunk 内以 ROC-AUC→1.0 分开正负电荷残基（线性编码）；对 z 的探针显示电荷信息恰在早期窗口经各模型的 seq2pair 通路进入 pairwise 空间。
由此构造静电互补 steering：对 helix-turn-helix target，给 helix-1 的 s 加 α·vcharge、helix-2 减 α·vcharge（α=3σ），模拟天然 hairpin 的跨链电荷互补——三个模型在早期 block 均被诱导出 hairpin。对照完美对上物理直觉：对 β-hairpin 做同号电荷 steering，跨链 Cα 距离平均增加 ≈10Å（链间排斥、发夹解体）；对 helix target 做异号 steering 则距离下降（吸引）。剂量-响应曲线在 ≤40 残基的小蛋白上呈平滑单调形（阈值约 0.4 个 std-DoM 后起效、随后饱和）——模型把电荷当作连续生化信号使用，而非离散符号。量级上 OpenFold > ESMFold > Boltz-1，与"Boltz-1 的 seq2pair 在 trunk 外"的架构位置一致。
阶段二：晚期 block 把 pairwise 加工成距离图
晚期 block 中 z 接管了结构信息。两条下游通路把 z 读成几何：
- pair2seq 把接触图广播回序列注意力：逐 block 用 pair2seq 注意力偏置 βij(zij) 的值区分"接触对（Cα<8Å）"与"非接触对"，中晚期 ROC-AUC 达 ~1.0（ESMFold 最锐利，OpenFold/Boltz-1 ~0.9）；逐头可视化显示正偏置精确落在接触图上，不同头分工捕捉互补的空间关系。
- 结构模块把 z 的幅度读成距离：在结构模块前把 z 缩放 0–2×（s 固定），输出结构的平均残基距离单调伸缩——ESMFold 摆幅约 15Å、OpenFold 约 20Å、Boltz-1 约 13Å；缩放 s 则几乎无影响。z 是几何通道，s 不是。
更直接的证据来自线性探针：逐 block 训练 d̂ij=w⊤zij+b 预测 Cα–Cα 距离，block 0 处接近随机（z 此时主要是位置编码），沿 trunk 上升至晚期 R²≈0.9（三模型一致）。探针线性意味着梯度方向 w 就是"距离方向"：对会构成跨链接触的 (i,j) 对执行 zij ← zij − α·ŵ（目标距离 5.5Å，反平行 β 折叠的典型跨链间距；α=20σ，滑窗 10），跨链距离下降、target 区域长出 hairpin；诱导率峰值恰好落在探针精度最高的中晚期 block——stage-2 的有效窗口与"z 的线性可读性"窗口重合。
跨架构收敛：表示可线性对齐、可互换
三个模型输入模态不同（单序列 vs MSA）、trunk 组件不同（Evoformer vs Pairformer）、训练数据与流程不同，却共享同一套两阶段结构。论文进一步问：它们的 z 是否连几何上都对齐？
| 度量 | 结果 | 含义 |
|---|---|---|
| CKA（无需训练的表示相似度） | 中晚期 block：ESMFold↔OpenFold >0.8；涉 Boltz-1 的配对 0.5–0.8；沿对角线集中（晚对晚最相似） | 共享的线性结构真实存在，且按"阶段"对齐而非按"层号"对齐 |
| whitened Procrustes 线性投影（白化 + 正交旋转，无任务监督） | 测试 R²≈0.9（OpenFold↔ESMFold，双向）、≈0.8–0.9（OpenFold↔Boltz-1）、≈0.7–0.8（ESMFold↔Boltz-1）；打乱对应关系后 R²≈0 乃至负 | 一个简单线性地图即可把一模型 z 译成另一模型 z；对齐利用的是真实共享几何而非维度匹配赝象（Ridge/CCA 在打乱控制下有泄漏，whitened Procrustes 位于随机正交基线底部） |
| 跨模型激活补丁（投影后移植 donor 表示） | 全部 6 个方向均复现"晚期 pairwise 窗口"：OpenFold→ESMFold 峰值 ~15–17%，ESMFold→OpenFold ~11%，涉 Boltz-1 ~5–12%；强度与投影质量同步 | 表示不只是"相似"，而是功能上可互换——一个模型的中间态能驱动另一个模型完成折叠决策 |
一个值得记住的架构细节：Boltz-1 的 pairwise 补丁窗口覆盖几乎整个 trunk，因为 Pairformer 内没有 seq2pair 写回——注入的 donor z 不会被后续序列侧计算覆盖；ESMFold/OpenFold 中早期注入的 z 会被 seq2pair 改写，故窗口收窄到晚期。两阶段结构是"功能层"的收敛，各架构把同一功能挂在不同的结构位置上（Boltz-1 把阶段一放在上游 MSA 模块）。这与语言模型里观察到的"stages of inference"分层计算、以及 Platonic Representation Hypothesis 的收敛预言，形成跨域呼应。
对蛋白设计流程的工程含义
这篇论文本身是预测模型的可解释性研究，不是设计方法。但其结论直接改变我们在设计管线中"使用折叠模型"的方式。按设计流程的位置逐条映射：
① 验证环节：诊断应瞄准 trunk，而非只看输出分
管线通例是 RFdiffusion/BindCraft 生成骨架 → ProteinMPNN/LigandMPNN 给序列 → ESMFold/AF2/Boltz 复折验证。本文证明结构决策发生在 trunk 内部、编码器与结构模块都不是决策位点——意味着 pLDDT/ipTM 这类终点分数之外，z 本身是可读的中间产物：用本文的线性探针在 block ~35 处即可廉价读出模型"认为"的接触图与距离矩阵，与设计意图（目标接触/热点几何）直接比对，把验证从"事后比对坐标"前移到"决策过程中的表示审计"。
② 表征 steering = 反事实探针，不是设计生成器
电荷/距离 steering 提供的是"表示级别的干预旋钮"：不改序列就能问模型"若这两个区域带异号电荷会怎样"。这对设计流程的价值在假设检验——例如探测同一序列在不同质子化态下的预测构象（论文点名 influenza hemagglutinin 的 pH 开关：组氨酸质子化驱动构象变化，普通折叠模型天然输出单一静态结构）。但请注意 §7 的证据边界：干预产生的反事实结构 pLDDT 低、inverse folding 找不回对应序列——steering 目前是分析工具，不能当作产出可表达序列的设计工具。
③ 跨模型收敛 → 集成验证有了表示级实现
不同架构的 z 可线性互译且功能互换，说明" folding trunk 学到了同一套化学→几何映射"不是某一模型的特例。工程上有两个直接推论：（1）多模型一致验证不必等到最终坐标，在中间表示层就能做交叉比对（同一蛋白在 ESMFold 与 Boltz-1 的晚期 z 经 Procrustes 对齐后应给出一致的接触图）；（2）未来若出现 steering 向量的"通用形式"，干预可以跨模型移植，降低对单一架构的依赖。
④ 对生成端模型的间接约束
两阶段结构提示：折叠模型先做"生化承诺"再做"几何精修"。对应到设计侧——序列层的生化特征（电荷分布、疏水模式）在推理早期就锁定了 motif 身份，这意味着设计评估不能只看几何相似度：一个 scRMSD 合格但电荷互补模式错误的设计，可能在 stage-1 就被折叠模型判成另一类结构。对 motif scaffolding 与 binder 设计，这提供了一个新的、比最终 pLDDT 更早的失败诊断切面。
另一个容易被忽略的实践细节：本文所有因果实验都关闭 recycling，且附录 H 显示短蛋白（<100 aa）在第 1 次 recycle 后即基本收敛，中长蛋白仍需多次 recycle 精修。设计管线若用 ESMFold 做高通量初筛，短 binder/小蛋白上省 recycle 是合理的；但对长链或多结构域设计，少 recycle 的预测可能尚未完成阶段二的几何精修——筛查阈值的解释应带这个前提。
局限与证据边界
- motif 尺度受限：全部因果结论建立在 12–25 残基的局部 motif（α-helix、β-hairpin）上。beta sheet、长程结构域接触是否服从同一两阶段结构未验证——作者明确指出长程接触可能需要不同机制。
- 仅覆盖"序列/pairwise 双轨"架构：SimpleFold 这类不显式维护 pairwise 表示的新架构是否在别的形式里实现同等两阶段计算，是开放问题。结论不能外推到所有折叠模型。
- 反事实结构不具物理可设计性：补丁产生的结构 pLDDT 低，inverse folding（如 ProteinMPNN 类）无法恢复能折成该结构的序列，且干预可造成立体碰撞或链断裂。这直接封堵了"steering 当设计工具用"的朴素想法——至少在引入可设计性约束之前。
- 成功率非全量：单 block 补丁分析只在全补丁成功的 ~40% 案例上进行；诱导率是条件成功率而非任意序列皆可改写。
- 方向性 asymmetry 未解释：跨模型补丁的两个方向成功率有差异（如 OpenFold→ESMFold 17% vs ESMFold→OpenFold 11%），作者归因于接收模型对离分布输入的容忍度等假说，未定论。
数据、算力与可复现性
- 数据集：α-螺旋蛋白取自 CATH Class 1（DSSP 剔除含 β 链者，长度 90–400，去重后 5,000 条中选 200 条，覆盖 helix bundle / helix-turn-helix / coiled coil / EF-hand / helical repeat）；β-hairpin 蛋白取自 PISCES（25% 序列一致度聚类、X-ray ≤2.5Å、R≤0.3，11,652 链）；补丁实验为 100 螺旋 + 100 hairpin target、每 motif 10 个 donor、干预区 15–20 残基；探针训练/测试集互斥且 hairpin 与 donor 序列零重叠。
- 判定：结构输出用 DSSP 做二级结构指派，配自定义 hairpin（两反平行链 + 0–5 残基 loop）与 helix-loop-helix（≥4 残基螺旋 + 2–8 残基 loop）检测器。
- 算力：2× A6000；单 block 补丁每模型 ~1.5 天、滑窗消融 ~1 天、steering 扫描 ~1 天、跨模型补丁 ~1.5 天；总计 ~1,000–1,500 GPU-hours。成本与案例数近似线性。
- 许可：ESMFold/ESM 与 Boltz-1 为 MIT，OpenFold 为 Apache-2.0；PDB 为 CC0，CATH/UniProt 为 CC BY 4.0。
参考文献与核验说明
- Lu K, Brinkmann J, Huber S, Mueller A, Belinkov Y, Bau D, Wendler C. Two Stages of Folding: Convergent Mechanisms in AI Protein Folding Trunks. arXiv:2602.06020v3（2026，本文评注对象；代码与数据：folding.baulab.info）。
- Jumper J, Evans R, Pritzel A, et al. Highly accurate protein structure prediction with AlphaFold. Nature 2021;596:583–589.
- Lin Z, Akin H, Rao R, et al. Evolutionary-scale prediction of atomic-level protein structure with a language model. Science 2023;379:1123–1130.（ESMFold/ESM-2）
- Ahdritz G, Bouatta N, Floristean C, et al. OpenFold: retraining AlphaFold2 yields new insights into its learning mechanisms and capacity for generalization. Nat Methods 2024;21:1514–1524.
- Wohlwend J, Corso G, Passaro S, et al. Boltz-1: democratizing biomolecular interaction modeling. bioRxiv 2024.11.19.624167.
- Wang Y, Lu J, Jaitly N, Susskind J, Bautista MA. SimpleFold: folding proteins is simpler than you think. arXiv:2509.18480（2025，无 pairwise 表示架构，论文局限性讨论对象）。
- Vig J, Gehrmann S, Belinkov Y, et al. Investigating gender bias in language models using causal mediation analysis. NeurIPS 2020;33:12388–12401.（activation patching）
- Meng K, Bau D, Andonian A, Belinkov Y. Locating and editing factual associations in GPT. NeurIPS 2022;36.（因果干预定位）
- Kornblith S, Norouzi M, Lee H, Hinton G. Similarity of neural network representations revisited. ICML 2019:3519–3529.（CKA）
- Huh M, Cheung B, Wang T, Isola P. The Platonic Representation Hypothesis. arXiv:2405.07987（2024）。
- Lad V, Lee JH, Gurnee W, Tegmark M. The remarkable robustness of LLMs: stages of inference? arXiv:2406.19384（2024，LLM 分层计算对应物）。
- Simon E, Zou J. InterPLM: discovering interpretable features in protein language models via sparse autoencoders. Nat Methods 2025.（蛋白语言模型 SAE 可解释性，相关研究脉络）
- Ciani B, Jourdan M, Searle MS. Stabilization of beta-hairpin peptides by salt bridges. JACS 2003;125:9038–9047.（电荷互补稳定 hairpin 的生化依据）
- Trost JF, et al. The histidine switch triggers pH-dependent conformational changes in influenza hemagglutinin. eLife 2019;8:e48521.（论文展望的 pH 条件化折叠应用）
核验说明：论文题名、作者、单位、摘要与全部数值结论经 arXiv 摘要页与 HTML 全文（v3，2026-06-24）核对（2026-09-29）。本文"工程含义"一节为评注性推论，非论文原有声明；凡涉 steering 用于设计产出的部分均以论文自报的局限性（低 pLDDT、inverse folding 失败）为边界。本文档为技术评注，非投资或实验决策建议。