Fugu-MT 論文翻訳(概要): Circuit Tracing in Autoregressive Protein Language Models

論文の概要: Circuit Tracing in Autoregressive Protein Language Models

arxiv url: http://arxiv.org/abs/2606.16044v1
Date: Sun, 14 Jun 2026 22:28:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-16 16:21:34.003654
Title: Circuit Tracing in Autoregressive Protein Language Models
Title（参考訳）: 自己回帰型タンパク質言語モデルにおける回路追跡
Abstract要約: ProGenMechは、生成タンパク質言語モデルのための機械的解釈可能性フレームワークである。マルチ層トランスコーダをProGen3に拡張する。これは因果生成とスパンインフィルのためにトレーニングされたスパースミクチャー・オブ・エキスパートモデルである。 ProGen3の確率分布と機能的スコアリング動作の回復において、ローカルトランスコーダのベースラインを上回っている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Protein language models (pLMs) can generate novel protein sequences with properties beyond those observed in nature, yet the mechanisms underlying protein generation remain poorly understood. Existing mechanistic interpretability methods based on sparse autoencoders and transcoders primarily focus on protein representation learning models and do not capture the computation required for autoregressive generation. Here, we introduce ProGenMech, a mechanistic interpretability framework for generative protein language models that extends cross-layer transcoders (CLTs) to ProGen3, a sparse Mixture-of-Experts model trained for both causal generation and span infilling. Unlike per-layer approaches, CLTs reconstruct each layer using sparse latent variables from all preceding layers, enabling faithful recovery of inter-layer generative computation. We further develop a zero-shot circuit discovery framework to identify sparse latent circuits responsible for protein generation and fitness prediction. In causal generation and zero-shot fitness estimation tasks, ProGenMech outperforms local transcoder baselines in recovering ProGen3's probability distribution and functional scoring behavior, while matching the original model's generative distribution in span infilling tasks. Moreover, the recovered circuits reveal biologically meaningful motifs and functional regions associated with conserved sequence patterns and protein fitness landscapes, establishing a foundation for interpretable and steerable protein generation.
Abstract（参考訳）: タンパク質言語モデル(pLM)は、自然界で観察される以上の性質を持つ新規なタンパク質配列を生成することができるが、その基盤となるタンパク質生成機構は理解されていない。スパースオートエンコーダとトランスコーダに基づく既存の機械論的解釈可能性手法は、タンパク質表現学習モデルに重点を置いており、自己回帰生成に必要な計算を捕捉していない。本稿では,多層トランスコーダ(CLT)をProGen3に拡張した生成タンパク質言語モデルの機械的解釈可能性フレームワークであるProGenMechを紹介する。層間アプローチとは異なり、CLTは前のすべての層からスパース潜伏変数を用いて各層を再構成し、層間生成計算の忠実な回復を可能にする。さらに,タンパク質生成および適合性予測に寄与するスパース遅延回路を同定するゼロショット回路探索フレームワークを開発した。因果生成およびゼロショット適合度推定タスクにおいて、ProGenMechは、ProGen3の確率分布と機能的スコアリング挙動を回復する際のローカルトランスコーダベースラインよりも優れ、また、元のモデルの生成分布を埋め込んだタスクにマッチさせる。さらに、回収された回路は、保存された配列パターンおよびタンパク質のフィットネスランドスケープに関連する生物学的に有意なモチーフと機能領域を明らかにし、解釈可能かつ操舵可能なタンパク質生成の基礎を確立する。

関連論文リスト

Protein Autoregressive Modeling via Multiscale Structure Generation [51.92004892768298]
タンパク質自己回帰モデリング(PAR)は,タンパク質のバックボーン生成のための最初のマルチスケール自己回帰フレームワークである。ノイズの多いコンテキスト学習とスケジュールサンプリングを採用し、堅牢なバックボーン生成を実現している。非条件生成ベンチマークでは、PARはタンパク質の分布を効果的に学習し、高い設計品質のバックボーンを生成する。
論文参考訳（メタデータ） (2026-02-04T18:59:49Z)
ProteinAE: Protein Diffusion Autoencoders for Structure Encoding [64.77182442408254]
本稿では,新規かつ合理化されたタンパク質拡散オートエンコーダであるProteinAEを紹介する。プロテインAEは、タンパク質のバックボーン座標を直接E(3)から連続的でコンパクトな潜在空間にマッピングする。本研究では,既存のオートエンコーダよりも優れた,最先端の再構築品質を実現することを実証する。
論文参考訳（メタデータ） (2025-10-12T14:30:32Z)
SpecMER: Fast Protein Generation with K-mer Guided Speculative Decoding [0.0]
SpecMER (Speculative Decoding via k-mer Guidance) は、生物学的、構造的、機能的な事前を組み込んだ新しいフレームワークである。通常の自己回帰復号よりも24～32%のスピードアップを実現し、高い受容率と改善されたシーケンス確率を実現している。
論文参考訳（メタデータ） (2025-09-25T23:26:04Z)
Guide your favorite protein sequence generative model [1.5914835340090132]
本稿では,タンパク質生成モデル構築のための原理的,汎用的な方法であるProteinGuideについて述べる。本稿では,2つのタンパク質生成モデルであるProteinMPNNとESM3を誘導し,アミノ酸および構造トークン配列を生成することにより,ProteinGuideの適用性を示す。また,逆折り畳みモデルを用いたProteinGuideと,アデニン塩基配列を高活性に設計する実験を行った。
論文参考訳（メタデータ） (2025-05-07T21:56:50Z)
GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。 DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
論文参考訳（メタデータ） (2025-02-11T05:39:49Z)
Multi-Scale Representation Learning for Protein Fitness Prediction [31.735234482320283]
これまでの手法は主に、巨大でラベルなしのタンパク質配列や構造データセットに基づいて訓練された自己教師型モデルに依存してきた。本稿では,タンパク質の機能を統合する新しいマルチモーダル表現学習フレームワークであるSequence-Structure-Surface Fitness (S3F)モデルを紹介する。提案手法は,タンパク質言語モデルからの配列表現と,タンパク質のバックボーンと詳細な表面トポロジーをコードするGeometric Vector Perceptronネットワークを組み合わせる。
論文参考訳（メタデータ） (2024-12-02T04:28:10Z)
Diffusion Language Models Are Versatile Protein Learners [75.98083311705182]
本稿では,タンパク質配列の強い生成および予測能力を示す多目的なタンパク質言語モデルである拡散タンパク質言語モデル(DPLM)を紹介する。まず, 自己制御型離散拡散確率フレームワークを用いて, 進化的タンパク質配列からのスケーラブルDPLMの事前学習を行った。プレトレーニング後、DPLMは非条件生成のための構造的に可塑性で新規で多様なタンパク質配列を生成する能力を示す。
論文参考訳（メタデータ） (2024-02-28T18:57:56Z)
xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [74.64101864289572]
本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
論文参考訳（メタデータ） (2024-01-11T15:03:17Z)
Target-aware Variational Auto-encoders for Ligand Generation with Multimodal Protein Representation Learning [2.01243755755303]
ターゲット認識型自動エンコーダであるTargetVAEを導入し、任意のタンパク質標的に対する高い結合親和性で生成する。これは、タンパク質の異なる表現を単一のモデルに統一する最初の試みであり、これは我々がタンパク質マルチモーダルネットワーク(PMN)と呼ぶ。
論文参考訳（メタデータ） (2023-08-02T12:08:17Z)
Chemically Transferable Generative Backmapping of Coarse-Grained Proteins [0.0]
粗粒化(CG)は、原子の集合を特異なビーズとしてシミュレートすることでタンパク質力学のシミュレーションを加速する。バックマッピングは、失われた原子論的な詳細をCG表現から取り戻すという逆の操作である。この研究は、CGタンパク質表現のための高速で、転送可能で、信頼性の高い生成バックマッピングツールを構築する。
論文参考訳（メタデータ） (2023-03-02T20:51:57Z)
Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
論文参考訳（メタデータ） (2022-05-20T19:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。