論文の概要: Interpreting Latent Protein Language Model Features with Geometric Annotations
- arxiv url: http://arxiv.org/abs/2608.26419v1
- Date: Wed, 26 Aug 2026 21:39:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.17933
- Title: Interpreting Latent Protein Language Model Features with Geometric Annotations
- Title（参考訳）: 幾何学的アノテーションを用いた潜在タンパク質言語モデルの特徴の解釈
- Abstract要約: スパースオートエンコーダ(SAEs)は、潜在pLM表現を解釈可能な特徴に分解する有望なツールを提供する。
タンパク質$textC_$backboneの幾何学的にインスピレーションを受けた特徴を用いてESM-2のSAE機能を自動かつスケーラブルに解釈する手法を提案する。
SAEの機能の大部分は、無注釈のメタゲノミクスタンパク質配列で活性化され、SAEアノテーションを使ってこれらの配列をよりよく理解することができます。
- 参考スコア（独自算出の注目度）: 2.6126272668390373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Protein language models (pLMs) encode information about protein sequences which enable downstream tasks such as structure prediction, but their internal representations are not well understood. Sparse autoencoders (SAEs) provide a promising tool to disentangle latent pLM representations into interpretable features, but existing annotation pipelines largely rely on protein-level annotations derived from database labels and LLM annotations of top activating sequences. Such annotations can overlook the localized residue-level and geometric patterns encoded by sparse features. We introduce an automated and scalable method for interpreting SAE features in ESM-2 by using geometrically inspired features of the protein $\text{C}_α$ backbone. Across ESM-2 8M layers, an FDR-controlled discovery analysis shows that local geometry is significantly associated with many SAE features, with varying levels of predictive strength, expanding coverage beyond database and sequence-based methods. In particular, geometry can distinguish SAE features sharing the same database annotation, revealing substructure within known biological labels. A significant portion of SAE features activate on unannotated metagenomic protein sequences enabling us to use our SAE annotations to better understand these sequences. In addition, ablation experiments at the level of contact prediction show that removing found geometric features shifts ESM-2's predicted contact maps in the direction of the descriptor. This provides a robust method of annotating proteins activated within SAE neurons at a residue level, providing a bridge between mechanistic interpretability and structural biology.
- Abstract（参考訳）: タンパク質言語モデル(pLM)は、構造予測などの下流タスクを可能にするタンパク質配列に関する情報を符号化するが、その内部表現はよく理解されていない。
スパースオートエンコーダ(SAE)は、遅延したpLM表現を解釈可能な特徴に分解する有望なツールを提供するが、既存のアノテーションパイプラインは、データベースラベルから派生したタンパク質レベルのアノテーションと、トップアクティベーションシーケンスのLCMアノテーションに大きく依存している。
このようなアノテーションは、スパース特徴によって符号化された局所化された残基レベルと幾何学的パターンを見渡すことができる。
タンパク質 $\text{C}_α$ backbone の幾何学的にインスピレーションを受けた特徴を用いて,ESM-2 の SAE 機能を自動かつスケーラブルに解釈する手法を提案する。
ESM-2 8M層全体にわたって、FDR制御された発見分析により、局所幾何学が多くのSAE特徴と著しく関連していることが明らかとなった。
特に、幾何学は、同じデータベースアノテーションを共有するSAEの特徴を識別することができ、既知の生物学的ラベルのサブ構造を明らかにする。
SAEの機能の大部分は、無注釈のメタゲノミクスタンパク質配列で活性化され、SAEアノテーションを使ってこれらの配列をよりよく理解することができます。
さらに、接触予測レベルにおけるアブレーション実験により、発見された幾何学的特徴の除去は、ESM-2の予測された接触マップをディスクリプタの方向にシフトさせることが示された。
これは、SAEニューロン内で活性化されるタンパク質を残基レベルでアノテートする堅牢な方法を提供し、機械的解釈可能性と構造生物学の間の橋渡しを提供する。
関連論文リスト
- From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。
この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。
我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
論文 参考訳（メタデータ） (2026-06-16T18:28:23Z) - From Atoms to Trees: Building a Structured Feature Forest with Hierarchical Sparse Autoencoders [12.294297654425334]
階層的スパースオートエンコーダ(HSAE)は、一連のSAEとそれらの特徴間の親子関係を学習する。
我々の研究は、言語表現に埋め込まれたマルチスケールの概念構造を発見し解析するための、強力でスケーラブルなツールを提供する。
論文 参考訳（メタデータ） (2026-02-12T12:30:23Z) - S$^2$Drug: Bridging Protein Sequence and 3D Structure in Contrastive Representation Learning for Virtual Screening [72.89086338778098]
タンパク質リガンドコントラスト表現学習のための2段階フレームワークを提案する。
最初の段階では、ESM2ベースのバックボーンを用いて、ChemBLでタンパク質配列を事前訓練する。
第2段階では、残基レベルゲーティングモジュールを介して配列と構造情報を融合することでPDBBindを微調整する。
この補助的なタスクは、モデルを誘導し、タンパク質配列内の結合残基を正確に局在させ、それらの3次元空間配列をキャプチャする。
論文 参考訳（メタデータ） (2025-11-10T11:57:47Z) - Protein as a Second Language for LLMs [50.34983283157322]
『Protein-as-Second-Language』の枠組みは、新しいシンボリック言語における文としてアミノ酸配列を再構成する。
属性予測,記述的理解,拡張推論にまたがる79,926個のタンパク質-QAインスタンスのバイリンガルコーパスをキュレートする。
提案手法は,オープンソース LLM と GPT-4 間で一貫した利得を提供し,最大 17.2% のROUGE-L 改善を実現している。
論文 参考訳（メタデータ） (2025-10-13T09:21:45Z) - Towards Understanding the Shape of Representations in Protein Language Models [0.0]
我々は,2乗根速度 (SRV) の表現とグラフ濾過によるタンパク質の構造と表現を同定する。
我々は PLM が直接的および局所的な残基間の関係を優先的に符号化するが、より大きな文脈長に対して劣化し始めることを発見した。
論文 参考訳（メタデータ） (2025-09-29T15:06:24Z) - ProtSAE: Disentangling and Interpreting Protein Language Models via Semantically-Guided Sparse Autoencoders [30.219733023958188]
Sparse Autoencoder (SAE) は、大規模言語モデルの機械的解釈可能性のための強力なツールとして登場した。
ProtSAEと呼ばれる意味誘導型SAEを提案する。
ProtSAEは,従来の方法と比較して,生物学的に関連性があり,隠れた特徴を解釈できることがわかった。
論文 参考訳（メタデータ） (2025-08-26T11:20:31Z) - Explainable Mapper: Charting LLM Embedding Spaces Using Perturbation-Based Explanation and Verification Agents [11.168089496463125]
大規模言語モデル(LLM)は、単語、文、概念間のリッチな意味的および構文的関係をキャプチャする高次元埋め込みを生成する。
これらの埋め込み特性の半自動アノテーションのためのフレームワークを導入する。
論文 参考訳（メタデータ） (2025-07-24T17:43:40Z) - PRING: Rethinking Protein-Protein Interaction Prediction from Pairs to Graphs [88.98041407783502]
PRINGは、タンパク質とタンパク質の相互作用予測をグラフレベルで評価する最初のベンチマークである。
PRINGは、21,484タンパク質と186,818の相互作用からなる高品質な多種PPIネットワークデータセットをキュレートする。
論文 参考訳（メタデータ） (2025-07-07T15:21:05Z) - Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。
位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
論文 参考訳（メタデータ） (2025-06-18T17:59:35Z) - Towards Interpretable Protein Structure Prediction with Sparse Autoencoders [0.0]
SAEのマトリオシカは、ネストした潜伏者のグループに独立して入力を再構築させ、階層的に組織化された特徴を学習する。
我々はESEをESMFoldのベースモデルであるESM2-3Bに拡張し、初めてタンパク質構造予測の機械論的解釈を可能にする。
本研究では,ESM2-3BでトレーニングしたSAEが,生物学的概念発見と接触地図予測の両方において,より小さなモデルでトレーニングしたSAEよりも優れていたことを示す。
論文 参考訳（メタデータ） (2025-03-11T17:57:29Z) - InterPLM: Discovering Interpretable Features in Protein Language Models via Sparse Autoencoders [24.150250149027883]
タンパク質言語モデル(PLM)は、タンパク質モデリングと設計において顕著な成功を収めている。
スパースオートエンコーダを用いてPLMから解釈可能な特徴を抽出・解析する体系的手法を提案する。
実用的な応用として、これらの潜伏する機能は、タンパク質データベースに欠落したアノテーションをいかに満たすかを示す。
論文 参考訳（メタデータ） (2024-11-13T18:51:21Z) - Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。
我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。
基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
論文 参考訳（メタデータ） (2024-10-27T17:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。