論文の概要: PairSAE: Mechanistic Interpretability from Pair Representations in Protein Co-Folding

• arxiv url: http://arxiv.org/abs/2606.27440v1
• Date: Thu, 25 Jun 2026 18:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.282712
• Title: PairSAE: Mechanistic Interpretability from Pair Representations in Protein Co-Folding
• Title（参考訳）: PairSAE:タンパク質共成形におけるペア表現の機械論的解釈性
• Abstract要約: 我々はNモードSVDによるペアワイズテンソルをトークンワイズインタラクションロールに要約するPairSAEを紹介する。 次に、スパースオートエンコーダを使用して、シーケンスとペア表現の両方にデコードするトークンレベルの機能の共有セットを学習する。 これらの結果は、PairSAEが構造生物学の基礎モデルの潜在空間と解釈可能な構造概念を結びつけていることを示している。
• 参考スコア（独自算出の注目度）: 2.360330081206126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models for structural biology have achieved remarkable performance in predicting biomolecular structure and show promise for the design of proteins and small molecules. Yet understanding which internal features drive their outputs remains challenging. Standard sparse autoencoders (SAEs), effective on transformer-style sequence embeddings, do not transfer cleanly to pairformer-like architectures: naively operating on pairwise representations yields a quadratic blow-up of features and obscures concepts distributed jointly across sequence and pair representations. We introduce PairSAE, which summarizes pairwise tensors via an N-mode SVD into token-wise interaction roles, then uses a sparse autoencoder to learn a shared set of token-level features that decode into both sequence and pair representations. Evaluated on Boltz-2 activations for PLINDER protein-ligand complexes, PairSAE yields interpretable features that align with UniProt annotations and predict Boltz-2 affinity values. These results indicate that PairSAE links the latent space of foundation models for structural biology to interpretable structural concepts, clarifying what the model "knows" while avoiding pairformer-induced pitfalls that limit conventional SAEs.
• Abstract（参考訳）: 構造生物学の基礎モデルは生体分子構造を予測し、タンパク質や小分子の設計を約束している。 しかし、どの内部機能がアウトプットを駆動するかを理解することは依然として難しい。 標準スパースオートエンコーダ(SAE)は、トランスフォーマースタイルのシーケンス埋め込みに有効であるが、ペアフォーマーのようなアーキテクチャにきれいに移行しない。 PairSAEは、NモードSVDを介してペアテンソルをトークンワイドインタラクションロールに要約し、スパースオートエンコーダを使用して、シーケンスとペア表現の両方にデコードされるトークンレベルの機能の共有セットを学習する。 PairSAEは、PLINDERタンパク質-リガンド複合体に対するBoltz-2活性化の評価を行い、UniProtアノテーションと整合し、Boltz-2親和性を予測できる解釈可能な特徴を得た。 これらの結果は、PairSAEが構造生物学の基礎モデルの潜在空間と解釈可能な構造概念を結びつけ、従来のSAEを制限するペアフォーマーによる落とし穴を避けながら、モデルが何を「知る」のかを明確にしていることを示している。

関連論文リスト

• SimpleDesign: A Joint Model for Protein Sequence and Structure Codesign [53.93453139057735]
  データ空間で直接訓練された効果的なマルチモーダルタンパク質設計モデルであるSimpleDesignを提案する。 2M以上のシーケンス構造ペア上でSimpleDesignをトレーニングし、共設計および非条件シーケンス/構造生成ベンチマーク間で強力なパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-09-03T05:25:05Z)
• PathAR: Structure-First Autoregressive Synthesis of Multimodal Pathology Images [51.428093790826814]
  そこで我々は, モーダリティ・ラベル条件付き病理モデル (PathAR) を用いて, 構造と外観を分解し, 自己回帰モデル(PathAR)を提案する。 PathARは、不均一なモダリティ固有の外観下で形態を安定化し、空間的に整列したイメージマスクペア生成を可能にする。
  論文  参考訳（メタデータ） (2026-06-01T01:43:48Z)
• From Token Lists to Graph Motifs: Weisfeiler-Lehman Analysis of Sparse Autoencoder Features [0.0]
  本稿では,各SAE特徴をトークン共起グラフとしてモデル化したグラフ構造化表現を提案する。 カスタムなWLスタイルの周波数結合グラフカーネルは、この構造空間上の類似度尺度を提供する。 トークンヒストグラムベースラインは、全体的な純度を高くするので、グラフビューの寄与は、支配的ではなく補完的である。
  論文  参考訳（メタデータ） (2026-05-07T16:15:16Z)
• Mechanisms of AI Protein Folding in ESMFold [60.598995350547]
  ESMFoldがいかにしてベータヘアピンを折りたたむかは、よく見られる構造モチーフである。 ESMFoldの構造決定の基盤となるメカニズムは局所化され、解釈可能な表現を通して追跡され、強い因果効果で操作されることを示す。
  論文  参考訳（メタデータ） (2026-02-05T18:54:54Z)
• PolySAE: Modeling Feature Interactions in Sparse Autoencoders via Polynomial Decoding [16.10987386200554]
  我々は,SAEデコーダを高次項で拡張して特徴的相互作用をモデル化するPolySAEを紹介する。 4つの言語モデルと3つのSAE変種に対して、PolySAEはF1の探索において平均8%の改善を達成した。
  論文  参考訳（メタデータ） (2026-02-01T16:34:45Z)
• HD-Prot: A Protein Language Model for Joint Sequence-Structure Modeling with Continuous Structure Tokens [33.896084921181476]
  HD-Protは、離散的なpLMの上に連続的に評価された拡散ヘッドを埋め込むハイブリッド拡散タンパク質言語モデルである。 非条件のシーケンス構造コジェネレーション、モチーフ・スキャフォールディング、タンパク質構造予測、逆フォールディングタスクにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2025-12-17T06:46:27Z)
• Understanding protein function with a multimodal retrieval-augmented foundation model [4.281723404774888]
  PoET-2は、家族固有の進化的制約の文脈内学習を取り入れた検索強化タンパク質基盤モデルである。 PoET-2はゼロショット変動効果予測において最先端の性能を達成する。
  論文  参考訳（メタデータ） (2025-08-05T15:11:25Z)
• Loss-Complexity Landscape and Model Structure Functions [53.92822954974537]
  我々はコルモゴロフ構造関数 $h_x(alpha)$ を双対化するためのフレームワークを開発する。 情報理論構造と統計力学の数学的類似性を確立する。 構造関数と自由エネルギーの間のルジャンドル・フェンシェル双対性を明確に証明する。
  論文  参考訳（メタデータ） (2025-07-17T21:31:45Z)
• DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
  DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。 DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。 実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
  論文  参考訳（メタデータ） (2024-10-17T17:20:24Z)
• FoldToken: Learning Protein Language via Vector Quantization and Beyond [56.19308144551836]
  タンパク質配列構造を離散シンボルとして表現するために textbfFoldTokenizer を導入する。 学習したシンボルを textbfFoldToken と呼び、FoldToken の配列が新しいタンパク質言語として機能する。
  論文  参考訳（メタデータ） (2024-02-04T12:18:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。