論文の概要: Structural Interpretations of Protein Language Model Representations via Differentiable Graph Partitioning

• arxiv url: http://arxiv.org/abs/2605.10985v1
• Date: Sat, 09 May 2026 07:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.277826
• Title: Structural Interpretations of Protein Language Model Representations via Differentiable Graph Partitioning
• Title（参考訳）: 微分グラフ分割によるタンパク質言語モデル表現の構造解釈
• Abstract要約: ESM-2のようなタンパク質言語モデルは、タンパク質機能予測の強力な性能を達成するリッチな残基表現を学習する。 我々は、ESM-2表現をタンパク質接触グラフに投影するプラグイン$&$-playフレームワークを、$&$ apply $textbfSoftBlobGIN$で提案する。 酵素の分類全体で、SoftBlobGINは92.8%の精度と0.898マクロF1を達成している。
• 参考スコア（独自算出の注目度）: 7.092243641006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Protein language models such as ESM-2 learn rich residue representations that achieve strong performance on protein function prediction, but their features remain difficult to interpret as structural $\&$ evolutionary signals are encoded in dense latent spaces. We propose a plug-$\&$-play framework that projects ESM-2 representations onto protein contact graphs $\&$ applies $\textbf{SoftBlobGIN}$, a lightweight Graph Isomorphism Network with differentiable Gumbel-softmax substructure pooling, to perform structure-aware message passing $\&$ learn coarse functional substructures for downstream prediction tasks. Across enzyme classification, SoftBlobGIN achieves 92.8\% accuracy $\&$ 0.898 macro-F1. Unlike post hoc analysis of protein language models alone, our method produces directly auditable structural explanations: GNNExplainer recovers biologically meaningful active-site residues, spatially localized functional clusters, $\&$ catalytic contact patterns. On binding-site detection, SoftBlobGIN improves residue AUROC from $0.885$ using an ESM-2 linear probe to $0.983$, indicating that these structural explanations are not recoverable from language-model features alone. Learned blob partitions provide an additional layer of interpretability by automatically grouping residues into functional substructures, with blobs containing annotated active-site residues showing $1.85\times$ higher importance than other blobs ($ρ{=}0.339$, $p{=}0.009$), without any active-site supervision. Our framework requires no retraining of the language model, adds only $\sim$1.1M parameters, $\&$ generalises across ProteinShake tasks, achieving $F_{\max}$ of $0.733$ on Gene Ontology prediction $\&$ AUROC of $0.969$ on binding-site detection. We position this as an interpretable structural companion to protein language models that makes their predictions more transparent $\&$ auditable.
• Abstract（参考訳）: ESM-2のようなタンパク質言語モデルは、タンパク質の機能予測において高い性能を達成するリッチな残基表現を学習するが、それらの特徴は、高密度の潜伏空間において、構造的な$\&$の進化的信号が符号化されるため、解釈が難しいままである。 本稿では,タンパク質接触グラフ上にESM-2表現を投影するプラグイン$&$フレームワークを提案する。$&$ apply $\textbf{SoftBlobGIN}$, a lightweight Graph Isomorphism Network with differentiable Gumbel-softmax substructure pooling, to perform structure-aware message passing $&$ learn coarse functional substructures for downstream prediction task。 酵素の分類全体で、SoftBlobGINは92.8\%精度$\&$0.898マクロF1を達成する。 GNNExplainerは、生物学的に有意な活性部位残基、空間的局在化機能クラスター、$\&$触媒接触パターンを回収する。 結合部位検出において、SoftBlobGIN は残余 AUROC を ESM-2 線形プローブを用いて 0.885$ から 0.983$ に改善し、これらの構造的説明が言語モデルの特徴だけでは回復できないことを示す。 学習されたブロブパーティションは、機能的なサブ構造に残基を自動的にグループ化することで、他のブロブ(ρ{=}0.339$, $p{=}0.009$)よりも高い重要性を示す注釈付きアクティブサイト残基を含むブロブを含む、解釈可能な追加層を提供する。 我々のフレームワークは言語モデルの再トレーニングを必要とせず、$\sim$1.1Mパラメータのみを追加し、$$$&$はProtectShakeタスクをまたいで一般化し、$F_{\max}$$$0.733$はGene Ontology予測$$$$$$$$0.969$はAUROC$である。 我々はこれをタンパク質言語モデルと解釈可能な構造的相補体として位置づけ、それらの予測をより透明に$\&$の監査を可能にする。

関連論文リスト

• Interpreting Latent Protein Language Model Features with Geometric Annotations [2.6126272668390373]
  スパースオートエンコーダ(SAEs)は、潜在pLM表現を解釈可能な特徴に分解する有望なツールを提供する。 タンパク質$textC_$backboneの幾何学的にインスピレーションを受けた特徴を用いてESM-2のSAE機能を自動かつスケーラブルに解釈する手法を提案する。 SAEの機能の大部分は、無注釈のメタゲノミクスタンパク質配列で活性化され、SAEアノテーションを使ってこれらの配列をよりよく理解することができます。
  論文  参考訳（メタデータ） (2026-08-26T21:39:50Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• CAPSUL: A Comprehensive Human Protein Benchmark for Subcellular Localization [50.559485139565076]
  我々は, 多様な3次元構造表現と微細な細胞内局在アノテーションを統合するデータセットである $mathbfCAPSUL$ という新しいベンチマークを導入する。 このベンチマークは、様々な最先端のシーケンスベースモデルと構造ベースモデルを用いて評価し、この課題に構造的特徴を関与させることの重要性を示す。 最後に,Golgi 装置のケーススタディを通じて,構造に基づく手法の強力な解釈可能性を示す。
  論文  参考訳（メタデータ） (2026-03-19T07:33:04Z)
• Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
  Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。 Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
  論文  参考訳（メタデータ） (2026-02-27T07:36:32Z)
• Structurally Human, Semantically Biased: Detecting LLM-Generated References with Embeddings and GNNs [7.158582263989492]
  我々は、SciSciNetから1万の論文に対して、ペア化された引用グラフ、基底真理、GPT-4o生成(パラメトリック知識から)を構築した。 GPTは、ランダムなベースラインをきれいに拒否するにもかかわらず、地上の真理(RF精度$approx$0.60)とほとんど区別されないことを示す。 集約された埋め込み上のRFは$approx$ 0.83に達し、埋め込みノード機能を持つGNNはGPTと地上真実の93%のテスト精度を達成する。
  論文  参考訳（メタデータ） (2026-01-28T15:37:31Z)
• Protein Structure Tokenization via Geometric Byte Pair Encoding [36.39587248348813]
  原理的タンパク質構造プロテタイザ(PST)であるGeoBPEを紹介する。 GeoBPEは、連続的でノイズの多いマルチスケールのバックボーンコンフォメーションを、大域的な制約を課しながら、幾何学の離散文'に変換する。 圧縮(類似の歪み率で1ビットあたり10倍の圧縮)、データ効率(10倍のトレーニングデータ)、一般化を提供する。
  論文  参考訳（メタデータ） (2025-11-13T22:53:29Z)
• S$^2$Drug: Bridging Protein Sequence and 3D Structure in Contrastive Representation Learning for Virtual Screening [72.89086338778098]
  タンパク質リガンドコントラスト表現学習のための2段階フレームワークを提案する。 最初の段階では、ESM2ベースのバックボーンを用いて、ChemBLでタンパク質配列を事前訓練する。 第2段階では、残基レベルゲーティングモジュールを介して配列と構造情報を融合することでPDBBindを微調整する。 この補助的なタスクは、モデルを誘導し、タンパク質配列内の結合残基を正確に局在させ、それらの3次元空間配列をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-10T11:57:47Z)
• Protein as a Second Language for LLMs [50.34983283157322]
  『Protein-as-Second-Language』の枠組みは、新しいシンボリック言語における文としてアミノ酸配列を再構成する。 属性予測,記述的理解,拡張推論にまたがる79,926個のタンパク質-QAインスタンスのバイリンガルコーパスをキュレートする。 提案手法は,オープンソース LLM と GPT-4 間で一貫した利得を提供し,最大 17.2% のROUGE-L 改善を実現している。
  論文  参考訳（メタデータ） (2025-10-13T09:21:45Z)
• BioBlobs: Differentiable Graph Partitioning for Protein Representation Learning [3.6641231031729173]
  動的に構造を柔軟に大きめのサブ構造(「ブロブ」)に分割することで、タンパク質を表現するプラグアンドプレイモジュールであるBioBlobsを紹介した。 得られたブロブは共有および解釈可能なコードブックに量子化され、タンパク質の埋め込みを計算するのに使用される機能関連タンパク質のサブ構造を個別に語彙化する。 また,BioBlobsの表現により,GVP-GNNなどの広く使われているタンパク質エンコーダの性能が,PRLタスクで向上することを示す。
  論文  参考訳（メタデータ） (2025-10-02T03:25:02Z)
• Towards Understanding the Shape of Representations in Protein Language Models [0.0]
  我々は,2乗根速度 (SRV) の表現とグラフ濾過によるタンパク質の構造と表現を同定する。 我々は PLM が直接的および局所的な残基間の関係を優先的に符号化するが、より大きな文脈長に対して劣化し始めることを発見した。
  論文  参考訳（メタデータ） (2025-09-29T15:06:24Z)
• Aligning Proteins and Language: A Foundation Model for Protein Retrieval [30.32156711268032]
  本稿では,大規模タンパク質データセットから類似した構造と意味を持つタンパク質を検索することを目的とする。 近年のビジョンキャプチャーモデル (VLM) の進歩により, 3次元タンパク質構造と機能アノテーションを協調するCLIPスタイルのフレームワークが提案されている。
  論文  参考訳（メタデータ） (2025-05-27T08:13:08Z)
• Unsupervised Semantic Segmentation by Distilling Feature Correspondences [94.73675308961944]
  教師なしセマンティックセグメンテーション(unsupervised semantic segmentation)は、アノテーションなしで画像コーパス内の意味論的意味のあるカテゴリを発見し、ローカライズすることを目的としている。 STEGOは、教師なし特徴を高品質な個別のセマンティックラベルに蒸留する新しいフレームワークである。 STEGOは、CocoStuffとCityscapesの両課題において、先行技術よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-16T06:08:47Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。