論文の概要: Diffusion on language model encodings for protein sequence generation

• arxiv url: http://arxiv.org/abs/2403.03726v2
• Date: Wed, 05 Feb 2025 08:26:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:05.869267
• Title: Diffusion on language model encodings for protein sequence generation
• Title（参考訳）: タンパク質配列生成のための言語モデル符号化の拡散
• Authors: Viacheslav Meshchaninov, Pavel Strashnov, Andrey Shevtsov, Fedor Nikolaev, Nikita Ivanisenko, Olga Kardymon, Dmitry Vetrov,
• Abstract要約: 本稿では,タンパク質言語モデル表現で動作する潜在拡散フレームワークであるDiMAを提案する。 私たちのフレームワークは、新しい、高品質で多様なタンパク質配列を一貫して生成します。 これは、タンパク質ファミリーの生成、モチーフの足場と埋め込み、折りたたみ特異的な配列設計を含む条件付き生成タスクをサポートする。
• 参考スコア（独自算出の注目度）: 0.5182791771937247
• License:
• Abstract: Protein sequence design has seen significant advances through discrete diffusion and autoregressive approaches, yet the potential of continuous diffusion remains underexplored. Here, we present DiMA, a latent diffusion framework that operates on protein language model representations. Through systematic exploration of architectural choices and diffusion components, we develop a robust methodology that generalizes across multiple protein encoders ranging from 8M to 3B parameters. We demonstrate that our framework achieves consistently high performance across sequence-only (ESM-2, ESMc), dual-decodable (CHEAP), and multimodal (SaProt) representations using the same architecture and training approach. We extensively evaluate existing methods alongside DiMA using multiple metrics across two protein modalities, covering quality, diversity, novelty, and distribution matching of generated proteins. DiMA consistently produces novel, high-quality and diverse protein sequences and achieves strong results compared to baselines such as autoregressive, discrete diffusion and flow matching language models. The model demonstrates versatile functionality, supporting conditional generation tasks including protein family-generation, motif scaffolding and infilling, and fold-specific sequence design. This work provides a universal continuous diffusion framework for protein sequence generation, offering both architectural insights and practical applicability across various protein design scenarios.
• Abstract（参考訳）: タンパク質配列の設計は、離散拡散と自己回帰的アプローチを通じて大きな進歩を遂げてきたが、連続拡散の可能性はまだ探索されていない。 本稿では,タンパク質言語モデル表現で動作する潜在拡散フレームワークであるDiMAについて述べる。 アーキテクチャ選択と拡散成分の体系的な探索を通じて、8M から 3B のパラメータを含む複数のタンパク質エンコーダをまたいで一般化するロバストな方法論を開発する。 我々は,シーケンスオンリー (ESM-2, ESMc), デュアルデコダブル (CHEAP), マルチモーダル (SaProt) 表現を同じアーキテクチャとトレーニングアプローチで一貫したハイパフォーマンスを実現することを実証した。 2つのタンパク質モダリティにまたがる複数の測定値を用いて、DMAと共に既存の手法を広範囲に評価し、品質、多様性、新規性、および生成したタンパク質の分布整合性について検討した。 DiMAは、新規で高品質で多様なタンパク質配列を一貫して生成し、自己回帰、離散拡散、フローマッチング言語モデルなどのベースラインと比較して強い結果が得られる。 このモデルは多種多様な機能を示し、タンパク質ファミリー生成、モチーフの足場と埋め込み、折りたたみ特異的配列設計などの条件生成タスクをサポートする。 この研究は、タンパク質配列生成のための普遍的連続拡散フレームワークを提供し、様々なタンパク質設計シナリオにおけるアーキテクチャ的洞察と実用性の両方を提供する。

関連論文リスト

• OneProt: Towards Multi-Modal Protein Foundation Models [5.440531199006399]
  我々は、構造、配列、アライメント、結合サイトデータを統合する、タンパク質のためのマルチモーダルAIであるOneProtを紹介する。 金属イオン結合分類、遺伝子オントロジーアノテーション、酵素機能予測など、様々な下流タスクにおける最先端の手法を超越している。 この研究は、タンパク質モデルにおけるマルチモーダル能力を拡大し、薬物発見、生物触媒反応計画、タンパク質工学の応用への道を開く。
  論文  参考訳（メタデータ） (2024-11-07T16:54:54Z)
• Structure Language Models for Protein Conformation Generation [66.42864253026053]
  伝統的な物理学に基づくシミュレーション手法は、しばしばサンプリング平衡整合に苦しむ。 深い生成モデルは、より効率的な代替としてタンパク質のコンホメーションを生成することを約束している。 本稿では,効率的なタンパク質コンホメーション生成のための新しいフレームワークとして構造言語モデリングを紹介する。
  論文  参考訳（メタデータ） (2024-10-24T03:38:51Z)
• DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
  DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。 DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。 実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
  論文  参考訳（メタデータ） (2024-10-17T17:20:24Z)
• Sequence-Augmented SE(3)-Flow Matching For Conditional Protein Backbone Generation [55.93511121486321]
  タンパク質構造生成のための新しいシーケンス条件付きフローマッチングモデルFoldFlow-2を紹介する。 我々は、以前の作業のPDBデータセットよりも桁違いに大きい新しいデータセットでFoldFlow-2を大規模にトレーニングします。 我々はFoldFlow-2が従来のタンパク質構造に基づく生成モデルよりも優れていることを実証的に観察した。
  論文  参考訳（メタデータ） (2024-05-30T17:53:50Z)
• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• Diffusion Language Models Are Versatile Protein Learners [75.98083311705182]
  本稿では,タンパク質配列の強い生成および予測能力を示す多目的なタンパク質言語モデルである拡散タンパク質言語モデル(DPLM)を紹介する。 まず, 自己制御型離散拡散確率フレームワークを用いて, 進化的タンパク質配列からのスケーラブルDPLMの事前学習を行った。 プレトレーニング後、DPLMは非条件生成のための構造的に可塑性で新規で多様なタンパク質配列を生成する能力を示す。
  論文  参考訳（メタデータ） (2024-02-28T18:57:56Z)
• Target-aware Variational Auto-encoders for Ligand Generation with Multimodal Protein Representation Learning [2.01243755755303]
  ターゲット認識型自動エンコーダであるTargetVAEを導入し、任意のタンパク質標的に対する高い結合親和性で生成する。 これは、タンパク質の異なる表現を単一のモデルに統一する最初の試みであり、これは我々がタンパク質マルチモーダルネットワーク(PMN)と呼ぶ。
  論文  参考訳（メタデータ） (2023-08-02T12:08:17Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。