Fugu-MT 論文翻訳(概要): Understanding protein function with a multimodal retrieval-augmented foundation model

論文の概要: Understanding protein function with a multimodal retrieval-augmented foundation model

arxiv url: http://arxiv.org/abs/2508.04724v1
Date: Tue, 05 Aug 2025 15:11:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-08 18:59:39.57601
Title: Understanding protein function with a multimodal retrieval-augmented foundation model
Title（参考訳）: マルチモーダル検索拡張基盤モデルによるタンパク質の機能理解
Authors: Timothy Fei Truong Jr, Tristan Bepler,
Abstract要約: PoET-2は、家族固有の進化的制約の文脈内学習を取り入れた検索強化タンパク質基盤モデルである。 PoET-2はゼロショット変動効果予測において最先端の性能を達成する。
参考スコア（独自算出の注目度）: 4.281723404774888
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Protein language models (PLMs) learn probability distributions over natural protein sequences. By learning from hundreds of millions of natural protein sequences, protein understanding and design capabilities emerge. Recent works have shown that scaling these models improves structure prediction, but does not seem to improve mutation understanding and representation quality for protein function prediction. We introduce PoET-2, a multimodal, retrieval-augmented protein foundation model that incorporates in-context learning of family-specific evolutionary constraints with optional structure conditioning to learn generative distributions over protein sequences. PoET-2 uses a hierarchical transformer encoder that is equivariant to sequence context ordering and a dual decoder architecture with both causal and masked language modeling objectives, allowing PoET-2 to operate in both fully generative and bidirectional representation learning modes. PoET-2 achieves state-of-the-art performance on zero-shot variant effect prediction, excelling at scoring variants with multiple mutations and challenging indel mutations. In supervised settings, PoET-2 embeddings outperform previous methods for learning sequence-function relationships, especially with small datasets. This work highlights the benefits of combining retrieval augmentation with multimodal, family-centric modeling for advancing protein foundation models.
Abstract（参考訳）: タンパク質言語モデル(PLM)は、天然タンパク質配列上の確率分布を学習する。数億もの天然タンパク質配列から学習することで、タンパク質の理解と設計能力が出現する。近年の研究では、これらのモデルのスケーリングは構造予測を改善するが、タンパク質機能予測の変異理解や表現品質を改善するものではないことが示されている。タンパク質配列上の生成分布を学習するために、任意の構造条件付けにより、家族固有の進化的制約の文脈内学習を組み込んだマルチモーダル検索拡張タンパク質基盤モデルPoET-2を導入する。 PoET-2はシーケンシャル・コンテクスト・オーダと等価な階層型トランスフォーマー・エンコーダと、因果的およびマスキングされた言語モデリングの目的を持つデュアル・デコーダ・アーキテクチャを使用しており、PoET-2は完全に生成的および双方向の表現学習モードで動作することができる。 PoET-2はゼロショット変量効果予測の最先端性能を達成し、複数の変異を持つ変量の評価に優れ、インデル変量に挑戦する。教師付き設定では、PoET-2の埋め込みは、特に小さなデータセットで、シーケンス関数の関係を学習する従来の方法よりも優れている。この研究は、検索強化と多モード家族中心モデリングを組み合わせることで、タンパク質基盤モデルを進化させることの利点を強調している。

関連論文リスト

ProtCLIP: Function-Informed Protein Multi-Modal Learning [18.61302416993122]
ProtCLIPは,機能認識タンパク質の埋め込みを表現した多モード基盤モデルである。当社のProtCLIPは,5つのクロスモーダル変換ベンチマークにおいて,平均75%の大幅な改善を実現している。実験により,タンパク質多量性基盤モデルとしてのProtCLIPの異常なポテンシャルが検証された。
論文参考訳（メタデータ） (2024-12-28T04:23:47Z)
DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。 DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
論文参考訳（メタデータ） (2024-10-17T17:20:24Z)
Sequence-Augmented SE(3)-Flow Matching For Conditional Protein Backbone Generation [55.93511121486321]
タンパク質構造生成のための新しいシーケンス条件付きフローマッチングモデルFoldFlow-2を紹介する。我々は、以前の作業のPDBデータセットよりも桁違いに大きい新しいデータセットでFoldFlow-2を大規模にトレーニングします。我々はFoldFlow-2が従来のタンパク質構造に基づく生成モデルよりも優れていることを実証的に観察した。
論文参考訳（メタデータ） (2024-05-30T17:53:50Z)
Learning to Predict Mutation Effects of Protein-Protein Interactions by Microenvironment-aware Hierarchical Prompt Learning [78.38442423223832]
我々は、新しいコードブック事前学習タスク、すなわちマスク付きマイクロ環境モデリングを開発する。突然変異効果予測において、最先端の事前学習法よりも優れた性能と訓練効率を示す。
論文参考訳（メタデータ） (2024-05-16T03:53:21Z)
Diffusion Language Models Are Versatile Protein Learners [75.98083311705182]
本稿では,タンパク質配列の強い生成および予測能力を示す多目的なタンパク質言語モデルである拡散タンパク質言語モデル(DPLM)を紹介する。まず, 自己制御型離散拡散確率フレームワークを用いて, 進化的タンパク質配列からのスケーラブルDPLMの事前学習を行った。プレトレーニング後、DPLMは非条件生成のための構造的に可塑性で新規で多様なタンパク質配列を生成する能力を示す。
論文参考訳（メタデータ） (2024-02-28T18:57:56Z)
xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [74.64101864289572]
本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
論文参考訳（メタデータ） (2024-01-11T15:03:17Z)
Pairing interacting protein sequences using masked language modeling [0.3222802562733787]
配列アライメントに基づいて訓練されたタンパク質言語モデルを用いて相互作用するタンパク質配列をペア化する手法を開発した。我々は、MSAトランスフォーマーが、周囲のコンテキストを用いて複数の配列アライメントでマスクされたアミノ酸を埋める能力を利用する。単一チェーンデータでトレーニングされている間に、チェーン間の共進化をキャプチャできることが示されています。
論文参考訳（メタデータ） (2023-08-14T13:42:09Z)
Prot2Text: Multimodal Protein's Function Generation with GNNs and Transformers [18.498779242323582]
本稿では,タンパク質の機能を自由テキスト形式で予測する新しいアプローチであるProt2Textを提案する。エンコーダ・デコーダフレームワークでグラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を組み合わせることにより,本モデルは多種多様なデータ型を効果的に統合する。
論文参考訳（メタデータ） (2023-07-25T09:35:43Z)
PoET: A generative model of protein families as sequences-of-sequences [5.05828899601167]
本稿では,関連タンパク質の集合を配列配列として生成する過程を学習するタンパク質ファミリー全体の生成モデルを提案する。 PoETは検索拡張言語モデルとして使用することができ、任意のタンパク質ファミリーに設定された任意の変更を生成し、スコア付けすることができる。以上の結果から,PoETはタンパク質言語モデルと進化的配列モデルに優れており,全ての深さのタンパク質をまたいだ変異関数の予測が可能であることがわかった。
論文参考訳（メタデータ） (2023-06-09T16:06:36Z)
Retrieved Sequence Augmentation for Protein Representation Learning [40.13920287967866]
本稿では,タンパク質表現学習のための検索シーケンス拡張について,アライメントや前処理を伴わずに導入する。本モデルでは,新しいタンパク質ドメインに移行し,デノボタンパク質の予測においてMSAトランスフォーマーより優れていることを示す。我々の研究はタンパク質の予測における大きなギャップを埋め、タンパク質配列を理解するのに必要なドメイン知識の解読に一歩近づいた。
論文参考訳（メタデータ） (2023-02-24T10:31:45Z)
Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [93.9943278892735]
タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
論文参考訳（メタデータ） (2021-10-29T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。