論文の概要: Structure, Not Sequence: Tracking and Validating Folding Mechanisms in ESMFold's Trunk with Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2610.36226v1
- Date: Mon, 26 Oct 2026 20:04:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.427485
- Title: Structure, Not Sequence: Tracking and Validating Folding Mechanisms in ESMFold's Trunk with Sparse Autoencoders
- Title（参考訳）: ESMFold Trunk におけるスパースオートエンコーダの追跡・検証機構
- Abstract要約: ニューラルネットワークによるESMFold折りたたみタンパク質のような構造予測器は、構造生物学を変容させた。
AAシーケンスのセマンティクスから物理形状を予測する折りたたみモデルにはそのような理由がないことを示す。
折りたたみトランクを3つのステップで解釈する: まず, モジュール間の表現分布のパイロット解析により, トランク内の異なる空間計算を探索し, 第2に, 辞書は作業の分割を露呈する; そして第3に, 推論言語モデルを用いて, 大規模に辞書を解釈する。
- 参考スコア（独自算出の注目度）: 36.6406347779933
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structure predictors like ESMFold fold proteins using neural network computation and have transformed structural biology. However, the driving mechanism from amino-acid (AA) sequence to 3D structure is insufficiently understood, and biological meaning remains locked in the dense network. Sparse autoencoders (SAEs) have shown promising results in obtaining interpretable concept features over an overcomplete basis of intermediate protein sequence-model representations. Yet folding models, which predict physical shape from AA sequence semantics, have no such account. We hypothesize that the features carrying the folding computation evolve in the 3D structural regression process. In this paper, we interpret the folding trunk in three steps. First, a pilot analysis on the representation distribution across modules and recycles locates distinct spatial computation in the trunk. Second, the dictionaries expose a division of labor: the single representation carries inherited semantics, and the pair representation computes the pairwise geometry. Third, we interpret the dictionary at scale with a reasoning language model, trace how the concepts compose across blocks by gradient-based attribution, and follow the interpreted code to the model's folding output, verifying where the computation aligns with, or departs from, known biochemistry. Together, the sparse dictionaries we train capture the relational geometry the trunk computes beyond the sequence model, and their concept activations forecast the model's own fold quality, turning the black-box folding trunk into a sparse, interpretable, and scientifically verifiable circuit.
- Abstract（参考訳）: ニューラルネットワークによるESMFold折りたたみタンパク質のような構造予測器は、構造生物学を変容させた。
しかし、アミノ酸配列(AA)から3D構造への駆動機構は十分に理解されておらず、生物学的意味は高密度ネットワークに閉じ込められている。
スパースオートエンコーダ(SAE)は、中間タンパク質配列モデル表現のオーバーコンプリートに基づく解釈可能な概念特徴を得る上で有望な結果を示している。
しかし、AAシーケンスのセマンティクスから物理形状を予測する折りたたみモデルは、そのような理由を持たない。
我々は, 3次元構造回帰過程において, 折り畳み計算を含む特徴が進化していくことを仮定した。
本稿では,折りたたみトランクを3つのステップで解釈する。
まず、モジュールとリサイクル間の表現分布のパイロット解析により、トランク内の異なる空間計算を探索する。
第二に、辞書は、一つの表現は継承された意味論を持ち、ペア表現はペアの幾何学を計算する。
第三に,この辞書を論理言語モデルを用いて大規模に解釈し,勾配に基づく帰属によってブロック間でどのように構成されるかを調べ,その解釈されたコードをモデルの折りたたみ出力に追従し,その計算が既知の生化学とどのように一致しているかを検証する。
同時に、私たちが訓練するスパース辞書は、トランクがシーケンスモデルを超えて計算する関係幾何学をキャプチャし、それらの概念アクティベーションはモデル自身の折りたたみ品質を予測し、ブラックボックスの折りたたみトランクをスパースで解釈可能で科学的に検証可能な回路に変える。
関連論文リスト
- Multimodal Plant Root Phenotyping with Integration of 3D Skeleton Extraction and Language Analysis [23.808424925425243]
植物の根の表現型付けは、下層構造を理解し、作物管理を最適化し、農業の持続可能性を向上させるのに不可欠である。
本稿では,3次元骨格抽出と言語誘導推論を統合した多モードロボットAIフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-04T04:30:04Z) - Structure Before Collapse: Transient semantic geometry in next-token prediction [33.942301586178914]
Neural Collapseは、バランスの取れたワンホット分類が、モデル表現を互いに等しく遠くにプッシュする、と予測する。
次世代の予測言語モデルは、主にワンホットラベルでトレーニングされる。
トレーニングの初期に意味幾何学が出現し,共有属性によるクラスタ表現が現れる。
論文 参考訳（メタデータ） (2026-06-25T08:33:34Z) - RiboSphere: Learning Unified and Efficient Representations of RNA Structures [57.40815107640066]
RNAのバックボーンは非常に柔軟で、非カノニカル相互作用が一般的であり、実験的に決定された3D構造は比較的少ない。
本稿では,ベクトル量子化とフローマッチングを組み合わせることで,RNAの固有な幾何学的表現を学習するフレームワークであるemphRiboSphereを紹介する。
論文 参考訳（メタデータ） (2026-03-20T04:36:35Z) - From Static Structures to Ensembles: Studying and Harnessing Protein Structure Tokenization [15.864659611818661]
タンパク質構造トークン化は、3D構造を離散的あるいはベクトル化された表現に変換する。
構造トークン化に関する最近の多くの研究にもかかわらず、基礎となる離散表現の性質はよく理解されていない。
構造予測のための言語モデルにおける構造トークンの有効利用は、リッチで訓練済みのシーケンス埋め込みを使うことに依存していることを示す。
論文 参考訳（メタデータ） (2025-11-13T07:58:24Z) - Hierarchical Neural Semantic Representation for 3D Semantic Correspondence [72.8101601086805]
階層型ニューラルセマンティック表現(HNSR)を設計し,高次構造と多分解能局所幾何学的特徴を捉える。
第2に,グローバルなセマンティック特徴を用いた粗いセマンティック対応を確立する,プログレッシブなグローバル-ローカルマッチング戦略を設計する。
第3に,本フレームワークはトレーニングフリーで,様々なトレーニング済みの3D生成バックボーンと広範囲に互換性があり,多様な形状カテゴリにまたがる強力な一般化が示されている。
論文 参考訳（メタデータ） (2025-09-22T07:23:07Z) - Structure-Aware Correspondence Learning for Relative Pose Estimation [65.44234975976451]
相対的なポーズ推定は、オブジェクトに依存しないポーズ推定を達成するための有望な方法を提供する。
既存の3D対応方式は、可視領域における小さな重複と、可視領域に対する信頼できない特徴推定に悩まされている。
本稿では,2つの鍵モジュールからなる相対詩推定のための構造認識対応学習手法を提案する。
論文 参考訳（メタデータ） (2025-03-24T13:43:44Z) - Towards Interpretable Protein Structure Prediction with Sparse Autoencoders [0.0]
SAEのマトリオシカは、ネストした潜伏者のグループに独立して入力を再構築させ、階層的に組織化された特徴を学習する。
我々はESEをESMFoldのベースモデルであるESM2-3Bに拡張し、初めてタンパク質構造予測の機械論的解釈を可能にする。
本研究では,ESM2-3BでトレーニングしたSAEが,生物学的概念発見と接触地図予測の両方において,より小さなモデルでトレーニングしたSAEよりも優れていたことを示す。
論文 参考訳（メタデータ） (2025-03-11T17:57:29Z) - DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。
DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。
実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
論文 参考訳（メタデータ） (2024-10-17T17:20:24Z) - FoldToken: Learning Protein Language via Vector Quantization and Beyond [56.19308144551836]
タンパク質配列構造を離散シンボルとして表現するために textbfFoldTokenizer を導入する。
学習したシンボルを textbfFoldToken と呼び、FoldToken の配列が新しいタンパク質言語として機能する。
論文 参考訳（メタデータ） (2024-02-04T12:18:51Z) - Unsupervised Learning of Equivariant Structure from Sequences [30.974508897223124]
我々は,少なくとも3つの長さの時系列から対称性を学習するための教師なしのフレームワークを提案する。
当社のフレームワークでは,データセットの非絡み合い構造が副産物として自然に現れることを実証します。
論文 参考訳（メタデータ） (2022-10-12T07:29:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。