論文の概要: Diffusion on language model encodings for protein sequence generation

• arxiv url: http://arxiv.org/abs/2403.03726v2
• Date: Wed, 05 Feb 2025 08:26:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:05.869267
• Title: Diffusion on language model encodings for protein sequence generation
• Title（参考訳）: タンパク質配列生成のための言語モデル符号化の拡散
• Authors: Viacheslav Meshchaninov, Pavel Strashnov, Andrey Shevtsov, Fedor Nikolaev, Nikita Ivanisenko, Olga Kardymon, Dmitry Vetrov,
• Abstract要約: 本稿では,タンパク質言語モデル表現で動作する潜在拡散フレームワークであるDiMAを提案する。 私たちのフレームワークは、新しい、高品質で多様なタンパク質配列を一貫して生成します。 これは、タンパク質ファミリーの生成、モチーフの足場と埋め込み、折りたたみ特異的な配列設計を含む条件付き生成タスクをサポートする。
• 参考スコア（独自算出の注目度）: 0.5182791771937247
• License:
• Abstract: Protein sequence design has seen significant advances through discrete diffusion and autoregressive approaches, yet the potential of continuous diffusion remains underexplored. Here, we present DiMA, a latent diffusion framework that operates on protein language model representations. Through systematic exploration of architectural choices and diffusion components, we develop a robust methodology that generalizes across multiple protein encoders ranging from 8M to 3B parameters. We demonstrate that our framework achieves consistently high performance across sequence-only (ESM-2, ESMc), dual-decodable (CHEAP), and multimodal (SaProt) representations using the same architecture and training approach. We extensively evaluate existing methods alongside DiMA using multiple metrics across two protein modalities, covering quality, diversity, novelty, and distribution matching of generated proteins. DiMA consistently produces novel, high-quality and diverse protein sequences and achieves strong results compared to baselines such as autoregressive, discrete diffusion and flow matching language models. The model demonstrates versatile functionality, supporting conditional generation tasks including protein family-generation, motif scaffolding and infilling, and fold-specific sequence design. This work provides a universal continuous diffusion framework for protein sequence generation, offering both architectural insights and practical applicability across various protein design scenarios.
• Abstract（参考訳）: タンパク質配列の設計は、離散拡散と自己回帰的アプローチを通じて大きな進歩を遂げてきたが、連続拡散の可能性はまだ探索されていない。 本稿では,タンパク質言語モデル表現で動作する潜在拡散フレームワークであるDiMAについて述べる。 アーキテクチャ選択と拡散成分の体系的な探索を通じて、8M から 3B のパラメータを含む複数のタンパク質エンコーダをまたいで一般化するロバストな方法論を開発する。 我々は,シーケンスオンリー (ESM-2, ESMc), デュアルデコダブル (CHEAP), マルチモーダル (SaProt) 表現を同じアーキテクチャとトレーニングアプローチで一貫したハイパフォーマンスを実現することを実証した。 2つのタンパク質モダリティにまたがる複数の測定値を用いて、DMAと共に既存の手法を広範囲に評価し、品質、多様性、新規性、および生成したタンパク質の分布整合性について検討した。 DiMAは、新規で高品質で多様なタンパク質配列を一貫して生成し、自己回帰、離散拡散、フローマッチング言語モデルなどのベースラインと比較して強い結果が得られる。 このモデルは多種多様な機能を示し、タンパク質ファミリー生成、モチーフの足場と埋め込み、折りたたみ特異的配列設計などの条件生成タスクをサポートする。 この研究は、タンパク質配列生成のための普遍的連続拡散フレームワークを提供し、様々なタンパク質設計シナリオにおけるアーキテクチャ的洞察と実用性の両方を提供する。

関連論文リスト

• SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
  タンパク質基盤モデルのための新しい事前学習戦略を導入する。 アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。 大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-10-31T15:22:03Z)
• Structure Language Models for Protein Conformation Generation [66.42864253026053]
  伝統的な物理学に基づくシミュレーション手法は、しばしばサンプリング平衡整合に苦しむ。 深い生成モデルは、より効率的な代替としてタンパク質のコンホメーションを生成することを約束している。 本稿では,効率的なタンパク質コンホメーション生成のための新しいフレームワークとして構造言語モデリングを紹介する。
  論文  参考訳（メタデータ） (2024-10-24T03:38:51Z)
• Protein Conformation Generation via Force-Guided SE(3) Diffusion Models [48.48934625235448]
  新しいタンパク質コンホメーションを生成するために、深層生成モデリング技術が用いられている。 本稿では,タンパク質コンフォメーション生成のための力誘導SE(3)拡散モデルConfDiffを提案する。
  論文  参考訳（メタデータ） (2024-03-21T02:44:08Z)
• Diffusion Language Models Are Versatile Protein Learners [75.98083311705182]
  本稿では,タンパク質配列の強い生成および予測能力を示す多目的なタンパク質言語モデルである拡散タンパク質言語モデル(DPLM)を紹介する。 まず, 自己制御型離散拡散確率フレームワークを用いて, 進化的タンパク質配列からのスケーラブルDPLMの事前学習を行った。 プレトレーニング後、DPLMは非条件生成のための構造的に可塑性で新規で多様なタンパク質配列を生成する能力を示す。
  論文  参考訳（メタデータ） (2024-02-28T18:57:56Z)
• A Latent Diffusion Model for Protein Structure Generation [50.74232632854264]
  本稿では,タンパク質モデリングの複雑さを低減できる潜在拡散モデルを提案する。 提案手法は, 高い設計性と効率性を有する新規なタンパク質のバックボーン構造を効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T19:10:19Z)
• Protein Sequence and Structure Co-Design with Equivariant Translation [19.816174223173494]
  既存のアプローチは自己回帰モデルまたは拡散モデルを用いてタンパク質配列と構造の両方を生成する。 本稿では,タンパク質配列と構造共設計が可能な新しいアプローチを提案する。 我々のモデルは、幾何学的制約と文脈特徴からの相互作用を推論する三角法を意識したエンコーダで構成されている。 全てのタンパク質アミノ酸は翻訳工程で1ショットずつ更新され、推論プロセスが大幅に加速される。
  論文  参考訳（メタデータ） (2022-10-17T06:00:12Z)
• Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
  この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。 モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。 その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T19:38:00Z)
• Few Shot Protein Generation [4.7210697296108926]
  マルチシークエンスアライメント(MSA)で表されるタンパク質ファミリーに条件付けられたタンパク質配列の生成モデルであるMSA-to-タンパク質トランスフォーマーについて述べる。 タンパク質ファミリーの生成モデルを学習するための既存のアプローチとは異なり、MSA-to-タンパク質トランスフォーマー条件は、多重配列アライメントの学習エンコーディングを直接生成する。 我々の生成的アプローチは、エピスタシスとインデルを正確にモデル化し、他のアプローチとは異なり、正確な推論と効率的なサンプリングを可能にします。
  論文  参考訳（メタデータ） (2022-04-03T22:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。