論文の概要: Diffusion on language model embeddings for protein sequence generation

• arxiv url: http://arxiv.org/abs/2403.03726v1
• Date: Wed, 6 Mar 2024 14:15:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-07 14:55:31.749014
• Title: Diffusion on language model embeddings for protein sequence generation
• Title（参考訳）: タンパク質配列生成のための言語モデル埋め込みの拡散
• Authors: Viacheslav Meshchaninov, Pavel Strashnov, Andrey Shevtsov, Fedor Nikolaev, Nikita Ivanisenko, Olga Kardymon, Dmitry Vetrov
• Abstract要約: 連続拡散を利用したアミノ酸配列生成モデルであるDiMAを導入する。 優れたパフォーマンスをもたらす設計選択の影響を定量的に説明します。 我々のアプローチは、タンパク質空間の構造的および機能的多様性を正確に反映する、新規で多様なタンパク質配列を一貫して生成する。
• 参考スコア（独自算出の注目度）: 0.5442686600296733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Protein design requires a deep understanding of the inherent complexities of the protein universe. While many efforts lean towards conditional generation or focus on specific families of proteins, the foundational task of unconditional generation remains underexplored and undervalued. Here, we explore this pivotal domain, introducing DiMA, a model that leverages continuous diffusion on embeddings derived from the protein language model, ESM-2, to generate amino acid sequences. DiMA surpasses leading solutions, including autoregressive transformer-based and discrete diffusion models, and we quantitatively illustrate the impact of the design choices that lead to its superior performance. We extensively evaluate the quality, diversity, distribution similarity, and biological relevance of the generated sequences using multiple metrics across various modalities. Our approach consistently produces novel, diverse protein sequences that accurately reflect the inherent structural and functional diversity of the protein space. This work advances the field of protein design and sets the stage for conditional models by providing a robust framework for scalable and high-quality protein sequence generation.
• Abstract（参考訳）: タンパク質設計は、タンパク質宇宙の固有の複雑さを深く理解する必要がある。 多くの努力は条件生成に傾倒し、特定のタンパク質ファミリーに焦点をあてるが、未条件生成の基礎的課題は過小評価され、過小評価されている。 本稿では,タンパク質言語モデルesm-2から派生した組込みに対して連続拡散を利用してアミノ酸配列を生成するモデルであるdimaを紹介する。 dimaは自己回帰的トランスフォーマーベースおよび離散拡散モデルを含む主要なソリューションを超えており、その優れた性能につながる設計選択の影響を定量的に説明します。 様々な指標を用いて, 生成配列の品質, 多様性, 分布類似性, 生物学的関連性について検討した。 我々のアプローチは、タンパク質空間の構造的および機能的多様性を正確に反映する、新規で多様なタンパク質配列を一貫して生成する。 この研究はタンパク質設計の分野を前進させ、スケーラブルで高品質なタンパク質配列生成のための堅牢なフレームワークを提供することにより、条件付きモデルのステージを設定する。

関連論文リスト

• Bidirectional Hierarchical Protein Multi-Modal Representation Learning [4.682021474006426]
  大規模タンパク質配列で事前訓練されたタンパク質言語モデル(pLM)は、配列ベースタスクにおいて大きな成功を収めた。 3次元構造情報を活用するために設計されたグラフニューラルネットワーク(GNN)は、タンパク質関連予測タスクにおいて有望な一般化を示している。 本フレームワークでは,PLMの生成するシーケンシャル表現とGNN抽出した構造特徴との効果的な相互作用を実現するために,注意とゲーティング機構を採用している。
  論文  参考訳（メタデータ） (2025-04-07T06:47:49Z)
• OneProt: Towards Multi-Modal Protein Foundation Models [5.440531199006399]
  我々は、構造、配列、アライメント、結合サイトデータを統合する、タンパク質のためのマルチモーダルAIであるOneProtを紹介する。 金属イオン結合分類、遺伝子オントロジーアノテーション、酵素機能予測など、様々な下流タスクにおける最先端の手法を超越している。 この研究は、タンパク質モデルにおけるマルチモーダル能力を拡大し、薬物発見、生物触媒反応計画、タンパク質工学の応用への道を開く。
  論文  参考訳（メタデータ） (2024-11-07T16:54:54Z)
• SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation [97.99658944212675]
  タンパク質基盤モデルのための新しい事前学習戦略を導入する。 アミノ酸残基間の相互作用を強調し、短距離および長距離の共進化的特徴の抽出を強化する。 大規模タンパク質配列データセットを用いて学習し,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-10-31T15:22:03Z)
• Structure Language Models for Protein Conformation Generation [66.42864253026053]
  伝統的な物理学に基づくシミュレーション手法は、しばしばサンプリング平衡整合に苦しむ。 深い生成モデルは、より効率的な代替としてタンパク質のコンホメーションを生成することを約束している。 本稿では,効率的なタンパク質コンホメーション生成のための新しいフレームワークとして構造言語モデリングを紹介する。
  論文  参考訳（メタデータ） (2024-10-24T03:38:51Z)
• DPLM-2: A Multimodal Diffusion Protein Language Model [75.98083311705182]
  DPLM-2は, 離散拡散タンパク質言語モデル(DPLM)を拡張し, 配列と構造の両方に適合する多モーダルタンパク質基盤モデルである。 DPLM-2は、配列と構造、およびその限界と条件の結合分布を学習する。 実験によりDPLM-2は高度に互換性のあるアミノ酸配列とそれに対応する3D構造を同時に生成できることが示された。
  論文  参考訳（メタデータ） (2024-10-17T17:20:24Z)
• Sequence-Augmented SE(3)-Flow Matching For Conditional Protein Backbone Generation [55.93511121486321]
  タンパク質構造生成のための新しいシーケンス条件付きフローマッチングモデルFoldFlow-2を紹介する。 我々は、以前の作業のPDBデータセットよりも桁違いに大きい新しいデータセットでFoldFlow-2を大規模にトレーニングします。 我々はFoldFlow-2が従来のタンパク質構造に基づく生成モデルよりも優れていることを実証的に観察した。
  論文  参考訳（メタデータ） (2024-05-30T17:53:50Z)
• Protein Conformation Generation via Force-Guided SE(3) Diffusion Models [48.48934625235448]
  新しいタンパク質コンホメーションを生成するために、深層生成モデリング技術が用いられている。 本稿では,タンパク質コンフォメーション生成のための力誘導SE(3)拡散モデルConfDiffを提案する。
  論文  参考訳（メタデータ） (2024-03-21T02:44:08Z)
• Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding [90.77521413857448]
  深層生成モデルは,3つのコア機能 – 新たなインスタンスの生成,入力の再構築,コンパクト表現の学習 – に固定されている。 一般化逆変換拡散確率モデル(EDDPM)を導入する。 EDDPMはパラメタライズされた符号化復号を導入することで標準拡散におけるガウス雑音化を一般化する。 テキスト、タンパク質、画像の実験は、多様なデータやタスクを扱う柔軟性を示している。
  論文  参考訳（メタデータ） (2024-02-29T10:08:57Z)
• Diffusion Language Models Are Versatile Protein Learners [75.98083311705182]
  本稿では,タンパク質配列の強い生成および予測能力を示す多目的なタンパク質言語モデルである拡散タンパク質言語モデル(DPLM)を紹介する。 まず, 自己制御型離散拡散確率フレームワークを用いて, 進化的タンパク質配列からのスケーラブルDPLMの事前学習を行った。 プレトレーニング後、DPLMは非条件生成のための構造的に可塑性で新規で多様なタンパク質配列を生成する能力を示す。
  論文  参考訳（メタデータ） (2024-02-28T18:57:56Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• A Latent Diffusion Model for Protein Structure Generation [50.74232632854264]
  本稿では,タンパク質モデリングの複雑さを低減できる潜在拡散モデルを提案する。 提案手法は, 高い設計性と効率性を有する新規なタンパク質のバックボーン構造を効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T19:10:19Z)
• Protein Sequence and Structure Co-Design with Equivariant Translation [19.816174223173494]
  既存のアプローチは自己回帰モデルまたは拡散モデルを用いてタンパク質配列と構造の両方を生成する。 本稿では,タンパク質配列と構造共設計が可能な新しいアプローチを提案する。 我々のモデルは、幾何学的制約と文脈特徴からの相互作用を推論する三角法を意識したエンコーダで構成されている。 全てのタンパク質アミノ酸は翻訳工程で1ショットずつ更新され、推論プロセスが大幅に加速される。
  論文  参考訳（メタデータ） (2022-10-17T06:00:12Z)
• Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
  この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。 モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。 その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T19:38:00Z)
• Few Shot Protein Generation [4.7210697296108926]
  マルチシークエンスアライメント(MSA)で表されるタンパク質ファミリーに条件付けられたタンパク質配列の生成モデルであるMSA-to-タンパク質トランスフォーマーについて述べる。 タンパク質ファミリーの生成モデルを学習するための既存のアプローチとは異なり、MSA-to-タンパク質トランスフォーマー条件は、多重配列アライメントの学習エンコーディングを直接生成する。 我々の生成的アプローチは、エピスタシスとインデルを正確にモデル化し、他のアプローチとは異なり、正確な推論と効率的なサンプリングを可能にします。
  論文  参考訳（メタデータ） (2022-04-03T22:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。