ESM Cambrian
语言模型构建蛋白质生物学的世界模型

🌍核心愿景：语言建模构建蛋白质世界模型

蛋白质是生命的基石。它们的序列、结构和功能在数十亿年的进化中共同演化。ESM 系列模型的核心假设是：如果我们在足够多的蛋白质序列上训练一个语言模型，让它学习预测被遮蔽的氨基酸位置，那么模型将被迫内化驱动氨基酸选择的生物学约束——结构稳定性、功能位点、催化机制、相互作用界面——从而在表征空间中自发涌现蛋白质的生物性质。

ESM1（2020年）在 2.5 亿条序列上训练，发现注意力模式与三级结构接触相关；ESM2（2023年）扩展到 650 亿参数，表征可投影到原子分辨率结构；ESM3（2025年）联合建模序列-结构-功能，生成了高度发散的荧光蛋白。现在，ESM Cambrian（ESMC）将训练数据从约 5000 万条扩展到 28 亿条（通过纳入宏基因组序列），参数规模达到 60 亿。

论文标题——"Language Modeling Materializes a World Model of Protein Biology"——概括了核心论点：语言建模不仅学习到了统计模式，而是在表征空间中具象化了一个蛋白质生物学的世界模型。本文着重解析这一世界模型的两个关键方面：稀疏自编码器揭示的可解释特征空间，以及通过搜索该空间实现的 de novo 蛋白设计。

📈ESMC 缩放律与训练规模

ESMC 是使用掩码语言建模（MLM）目标训练的 Transformer 家族，发布 3 亿、6 亿和 60 亿参数三个规模（分别有 16、24 和 80 层 Transformer）。

训练数据：宏基因组扩展近两个数量级

ESM2 在 6.5 亿到 150 亿参数之间观察到收益递减，而 ESMC 在 3 亿到 60 亿参数之间保持对数线性提升，无平台期。长程接触精度与训练计算量的关系：P@L-LR = 0.115 × log₁₀(FLOPs) − 1.98, R² = 0.99。ESMC 6B 训练到 1.63 × 10²³ FLOPs，经验值与外推预测高度吻合（残差仅 −0.007）。

结构与功能在不同层涌现

ESMC 6B 的 80 层中，结构信息（长程接触精度）在最后几层急剧上升，在倒数第二层达峰；功能信息（酶分类 EC 号 kNN 精度）从最早层稳步上升，在 50-60 层达峰。SAE 分析正是聚焦于第 60 层——功能信息最丰富的深度。

🏗️ESMFold2：单序列 SOTA 结构预测

ESMFold2 以 ESMC 表征为主要输入（非 MSA），架构包含：所有层表征池化 → 4 层编码器初始化 pair state → 48 层折叠层（仅三角乘法+前馈，无需注意力）→ 稳定循环递归（收缩映射防止激活无界增长，训练时反向传播穿过 2 次循环，推理时可增加循环次数）→ 2 层最终折叠层条件化扩散 Transformer。

语言模型预训练计算量与结构预测性能的对数线性关系：单体 LDDT = 0.027 × log₁₀(FLOPs) + 0.181, R² = 0.92；复合物 P(DockQ ≥ 0.23) = 0.060 × log₁₀(FLOPs) − 0.832, R² = 0.93。

ESMFold2-Fast（24 层，无 MSA）推理仅 9.4 秒，抗体-抗原达 50% ± 2%。推理时缩放：1000 seed 采样使抗体-抗原通过率从 49% 升至 65%。

💊De Novo 蛋白设计：搜索世界模型的输入空间

ESMC + ESMFold2 构成蛋白质相互作用的联合模型。论文展示了一个简洁而强大的 de novo 设计范式：通过搜索联合模型的输入空间来设计高亲和力 binder。这一方法的创新性在于将蛋白质设计问题转化为对语言模型表征空间的连续优化。

核心创新：反向传播穿过语言模型和结构预测器

设计过程的核心公式：

其中 x 是候选 binder 序列，t 是靶标序列，s 是靶标结合态复合物结构。p(x) 是 ESMC 学到的序列先验，p(s | x, t) 是 ESMFold2 的条件结构模型。

关键创新在于将序列表示为氨基酸概率的连续分布，然后通过反向传播（backpropagation）穿过 ESMC 和 ESMFold2 进行端到端优化。温度退火用于将连续分布逐步锐化为离散序列。这是一个单阶段优化过程——不需要多轮迭代或专家设计的流程。

这一方法属于结构预测器引导的设计范式（structure predictor-guided design），但区别在于：(1) 使用语言模型而非 MSA 作为序列先验，(2) 端到端可微分优化而非采样方法（如 MCMC），(3) 单阶段而非多阶段。ESMFold2 的高效性（9.4 秒/结构）使得搜索数万个候选成为可能。

实验设计：5 靶点 × 2 模态 × 2 计算量

针对 5 个临床靶点（PDGFRβ、EGFR、PD-L1、CD45、CTLA-4），设计两种模态的 binder：

• De novo minibinders：紧凑的全新结合支架，完全从头设计
• scFvs（单链抗体片段）：保留免疫球蛋白框架，需设计高度可变的 CDR 区

两个计算量级别：低计算量设置 minibinder 约 15,000 候选（~500 H100-小时），高计算量约 67,000 候选（~2,400 H100-小时）。scFv 分别约 28,000（~1,800 H100-小时）和 117,000（~7,700 H100-小时）。排名集成从 4 个 critic 增至 19 个。每个靶点-模态-计算量组合选择 84 个设计进行实验验证。

实验验证结果

推理缩放直接转化为实验成功

增加计算量后，10 个靶点-模态对中 9 个命中率提升。Minibinder 平均从 53.8% 升至 70.0%，scFv 从 12.1% 升至 21.0%。这证明"数字实验"的数量可以预测性地转化为"湿实验"的质量——推理时缩放是 de novo 蛋白设计的有效策略。

设计的新颖性与多样性

验证的 binder 在序列、结构和结合界面方面高度多样，模型恢复了多种不同结合模式而非收敛到单一解。新颖性分析：

• Minibinder：438 个验证 binder 中仅 5 个在 BLASTP 中有显著匹配（E-value < 10⁻³），序列同一性 < 34%——绝大多数是全新序列
• scFv：所有验证 scFv 的 CDR 与最近 PDB 抗体至少相差 10 个编辑距离
• 结构搜索进一步确认设计界面与已知 PDB 界面不同

治疗功能验证

• 表位竞争：PD-L1/CTLA-4/EGFR binder 在存在 atezolizumab/ipilimumab/cetuximab 时结合信号降低，证明结合预期表位
• 特异性：抗 EGFR binder 不结合 HER3；抗 CTLA-4 binder 不结合 CD28
• 冷冻电镜：EGFR-minibinder 复合物 3.8 Å 分辨率，计算模型与实验结构 RMSD 仅 1.204 Å
• PD-L1 功能：minibinder IC₅₀ = 1.6 nM，scFv IC₅₀ = 39 nM，atezolizumab scFv 对照 2.6 nM——设计蛋白与已上市药物功能相当

🔬SAE 方法论：从超叠加到单语义特征

论文最具科学深度的部分是使用稀疏自编码器（SAE）对 ESMC 表征空间进行机制可解释性分析。这一技术源自大语言模型（LLM）的可解释性研究，在此被创造性地应用于蛋白质语言模型。

为什么需要 SAE？超叠加问题

语言模型用表征空间中的方向编码概念，但单个维度是多语义的（polysemantic）：一个坐标会非特异性地激活，因为它参与了多个超叠加（superposition）的特征。这意味着直接查看单个神经元无法获得可解释的信息——就像一个神经元同时编码"α-螺旋"、"疏水性"和"DNA 结合"。

稀疏编码（sparse coding）通过寻找一个基底，使得少数几个维度就足以近似重建大多数表征，从而将超叠加的特征分解为单语义（monosemantic）特征——每个特征只对应一个可解释的概念。

SAE 训练设置

SAE 将每个氨基酸在其上下文中的表征向量投影到稀疏的高维特征空间。关键训练参数：

选择第 60 层是因为它在酶分类精度峰值附近（图 1D），是功能信息最丰富的层。逐层评估显示，60-70 层包含最多信息（重建损失最高、困惑度退化最大），而最后几层专门用于 logit 预测而非丰富表征。

蛋白质向量化

为将蛋白质表示为单一向量，对每个特征取整个序列上的最大激活值。这意味着每个蛋白质由一个 16,384 维向量表示，每一维反映该特征在蛋白质中最强的激活程度。

智能体标注系统

SAE 是完全无监督的——训练后不知道每个特征对应什么生物学概念。论文开发了一个多智能体系统来生成自然语言描述：

1. 从 SwissProt（注释评分 ≥ 3）中检索每个特征激活最强的 200 个蛋白质（90% 聚类去冗余，约 195k 蛋白参考集）
2. 初始观察 agent：从蛋白质名称、分类、激活位置生成全局模式
3. 功能分组 agent（GPT-5 high reasoning）：将 200 个蛋白质按生化功能分为 2-10 组，每组留出一个验证
4. 每组选一个代表蛋白，提供残基级激活值、ESMFold2 预测的二级结构、SwissProt 功能注释，生成详细描述
5. 验证 agent（GPT-5 medium reasoning）：检查描述是否泛化到组内其他蛋白质（最多重试 3 次）
6. 统一 agent：合并所有组的描述为单一特征描述

📊16,384 个蛋白质特征：完整层级还原

主分析 SAE（2¹⁴ = 16,384 特征，第 60 层）识别的特征跨越了蛋白质生物学的所有层级。以下是按生物学复杂度从低到高的完整分类和精确计数：

关键观察：近 50% 的特征对应于因共同生物学角色而跨生物学保守的功能位点和子结构。翻译后修饰相关特征（5,382 个）是最大的单一类别，反映了蛋白质成熟和调控的复杂性。二级结构特征约 2,000 个，远超简单的"α/β"分类——包括螺旋端帽、β-链边缘、氢键周期信号等精细上下文。

特异性-粒度空间

16,384 个特征在两个维度上分布：(1) 特异性（从通用到家族特异），(2) 粒度（从残基级到域级）。论文用 Pfam 域边界的 Shannon 熵量化特异性，用平均连续运行长度（mcrl）量化粒度。

两个主要模式：

• Mode 1（通用-局部）：在大量 Pfam 域上激活的残基级特征，中位数覆盖 2,295 个家族（最少 109，最多 7,463）
• Mode 2（特异-广泛）：在较少家族上激活但覆盖更广区域的特征，中位数覆盖 189 个唯一域（最少 19，最多 1,865）

即使 Mode 2 的"家族特异"特征也跨越许多域——没有任何特征只在一个家族中激活。这反映了蛋白质生物学概念的复用性：同一个结构基序或催化机制在不同蛋白质家族中反复出现。

不同 SAE 规模的对比

论文训练了 16,384、65,536 和 131,072 三种码本大小的 SAE。更大码本中特征出现得更稀疏。关键发现是不同规模 SAE 捕获相似的重要变异轴——2¹³ 空间中的一个特征可能对应 2¹⁶ 空间中的十个特征。这表明 ESMC 表征空间中的"方向"是固有的，SAE 只是 以不同分辨率采样这些方向。

🧩SAE 特征的组合性与生物学连贯性

组合性：从基本概念到复杂功能

复杂功能通过多个特征的组合来表示。以激酶为例，核心催化机器由 P-loop、HRD/DFG 激活环、αC 螺旋组成。仅 P-loop 就激活了跨越通用性尺度的多个特征：

通用特征 F3614 在激酶、核糖核酸酶、脂肪酶中的类似柔性 loop 上激活；特异特征 F119 仅在激酶上激活。这种从通用到特异的层级组合使模型能用相对少的概念表示复杂的功能机器。

激酶相关特征总计 531 个，覆盖 35 个蛋白质和 7 个激酶类别。在 Src 激酶中，仅 108 个特征就足以让线性模型高精度预测局部活性景观（Spearman ρ = 0.74）。破坏 P-loop 的 G277 突变会降低 P-loop 特征 F278 的激活，且降低幅度与突变对激酶活性的影响强相关（ρ = 0.73）。特征还能响应远处残基的突变（如 F10351、F8957），反映 3D 接触和长程别构效应。

跨家族保守概念：亲核弯头

单个特征 F6716 在 99 个相关酶中的 75 个上激活于"亲核弯头"（nucleophilic elbow）催化基序，跨越 25 个不同的折叠。这是一个在多种蛋白酶和水解酶中独立进化的保守局部生化基序——精确定位亲核残基（丝氨酸或半胱氨酸）以引发亲核攻击。

SAE 解码器空间中 F6716 的邻域在生物学上是连贯的，包含其他柔性催化环和磷酸化基序。不同码本大小（2¹³、2¹⁴、2¹⁶）的 SAE 在该区域显示大量重叠——所有 SAE 都捕获了相似的重要变异轴。

跨家族调控特征

不同激酶家族共享核心催化特征，但使用额外特征表示各自独特的调控上下文：

• Src（酪氨酸激酶）：F872（SH3 结合域调控）
• AKT1（AGC 激酶）：F3042（C 端磷酸化调控）
• IRAK4（先天免疫）：F1777
• CK1α：F2046（αC 螺旋独特激活——可能因其组成型活性，不依赖激活环磷酸化）

特征共现预测蛋白质相互作用

蛋白质不孤立运作。PDB 中识别的特征对可用于预测留出数据集中的蛋白质-蛋白质相互作用，AUROC = 0.855，即使序列相似性很低。例如 F14846 和 F12376 捕获了 TCR-MHC I 相互作用——免疫系统 T 细胞激活通路的起始事件。

进化主题：NMF 识别约 3,000 个特征组合

使用非负矩阵分解（NMF）从 81 个参考蛋白质组中识别约 3,000 个特征加权组合：

• 1,103 个跨所有生命域共享：如 ATP 合酶催化机器
• 免疫球蛋白：脊椎动物特异性适应性免疫
• 863 个组合记录了古细菌与细菌内共生的古老事件——真核细胞器（线粒体、叶绿体）的起源，包括 β-桶外膜蛋白

GO 生物过程映射

在 SwissProt 蛋白质上，识别出 4,113 个特征跨越 61 个生物过程（GO），高激活能以 > 50% 精度识别过程。在 90% 精度阈值下仍有 49 个独立过程的特征。每个过程对应数千万到数亿蛋白质。最大类别包括转录、翻译、细胞信号传导和代谢。

🗺️蛋白质图谱：68 亿序列的 SAE 聚类

利用 ESMC 和 ESMFold2 构建迄今最大规模的蛋白质图谱：68 亿唯一序列，11 亿预测结构（4.185 亿高置信度），相对 AlphaFold DB 和原 ESM Atlas 新增 7.56 亿未覆盖结构。11 亿结构在约两周内完成计算。

SAE 聚类

使用 SAE 特征向量进行聚类（Jaccard 相似度 ≥ 0.6），产生 2.3 亿个 ≥ 5 成员的簇和 770 万个 ≥ 50 成员的簇。SAE 相似度在序列相似度低于 40% 时仍能有效检索共享拓扑和酶类的蛋白质，优于纯序列或纯结构搜索。

案例：Cas12/TnpB/Fanzor 进化连接

一个簇包含 RNA 引导的 DNA 核酸内切酶，包括真核 Fanzor 和原核 TnpB（Cas12 进化祖先）。特征 F4804 激活于催化重要的 DDE 基序酸性残基：催化活性的 Cas12f 和 TnsB 激活该特征，而失去催化功能的 Cas12k 不激活——SAE 特征直接编码了功能状态。

未注释蛋白质的功能预测

超过 200 万个簇无 Pfam 注释。通过高精度 SAE 特征（90% 精度），在未表征的宏基因组蛋白中识别出碳水化合物代谢、DNA 重组、糖蛋白生物合成相关特征。这些蛋白质与 PDB 最近结构的 TM-score 很高，但序列同一性仅 10-22%——SAE 特征空间发现了序列相似性无法发现的功能连接。

生物群落功能分化

• 人类肠道：革兰氏阳性菌分泌机器
• 土壤：放线菌和相互作用/信号基序
• 海洋：光系统和腔体域（藻类和蓝藻）
• 高盐环境：嗜盐古菌特征和酸性区域（高盐稳定性所需）

💡技术启示与局限

核心启示

• SAE 是蛋白质语言模型可解释性的强大工具：16,384 个单语义特征完整覆盖了从氨基酸（88 个）到翻译后修饰（5,382 个）再到进化主题（~3,000 个 NMF 组合）的所有生物学层级，且完全无监督涌现——与分子生物学数十年经验科学发展的还原论理解高度对应
• 特征组合性是关键：复杂功能不是单个特征编码的，而是通过从通用到特异的层级组合实现。激酶 P-loop 由 4 层特异性的 11 个特征表示，108 个特征足以预测激酶活性
• SAE 特征具有生物学连贯性：特征邻域在生物学上连贯（亲核弯头邻域包含其他催化环和磷酸化基序），跨 SAE 规模一致（不同码本大小捕获相同变异轴），能编码功能状态（DDE 基序特征区分催化活性/失活）
• De novo 设计通过搜索世界模型实现：反向传播穿过 ESMC+ESMFold2 的连续序列优化，单阶段即可产生高质量设计。推理缩放直接转化为实验成功——更多计算 = 更高命中率
• 设计蛋白具有治疗级功能：PD-L1 minibinder IC₅₀ 1.6 nM 与 atezolizumab 相当，冷冻电镜验证 RMSD 1.2 Å，表位竞争和特异性均验证通过
• 数据规模维持缩放律：28 亿条宏基因组序列使 ESMC 在 3 亿到 60 亿参数间保持对数线性提升，无 ESM2 的收益递减问题

局限与开放问题

• SAE 标注依赖 LLM 智能体：特征到生物学概念的映射通过 GPT-5 智能体完成，可能引入标注偏差。不过五重假设-验证流程和留出验证缓解了这一问题
• 16,384 特征是否足够：论文也训练了 131,072 特征的 SAE，但主分析使用 16,384。更大码本可能揭示更精细的概念分化
• scFv 命中率仍偏低：minibinder 达 88%，但 scFv 最高仅 29%，抗体 CDR 设计仍是挑战
• 静态 vs 动态：ESMC/ESMFold2 捕获平衡态/最稳定构象，不直接处理动力学和构象系综
• 200 万+ 簇无注释：图谱中大量蛋白质功能待探索，SAE 特征提供了线索但未给出答案
• 仅基于序列：SAE 特征从纯序列预测任务中涌现，未利用结构或功能标注——这既是优势（无监督）也是局限（可能遗漏序列中不可编码的信息）

📄论文信息