論文の概要: Fine-Tuning Discrete Diffusion Models via Reward Optimization with Applications to DNA and Protein Design

• arxiv url: http://arxiv.org/abs/2410.13643v1
• Date: Thu, 17 Oct 2024 15:10:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:04.494983
• Title: Fine-Tuning Discrete Diffusion Models via Reward Optimization with Applications to DNA and Protein Design
• Title（参考訳）: 逆最適化による微調整離散拡散モデルとDNAおよびタンパク質設計への応用
• Authors: Chenyu Wang, Masatoshi Uehara, Yichun He, Amy Wang, Tommaso Biancalani, Avantika Lal, Tommi Jaakkola, Sergey Levine, Hanchen Wang, Aviv Regev,
• Abstract要約: 拡散モデルにより生成された軌道全体を通して報酬の直接バックプロパゲーションを可能にするアルゴリズムを提案する。 DRAKESは自然に似ており、高い報酬をもたらすシーケンスを生成することができる。
• 参考スコア（独自算出の注目度）: 56.957070405026194
• License:
• Abstract: Recent studies have demonstrated the strong empirical performance of diffusion models on discrete sequences across domains from natural language to biological sequence generation. For example, in the protein inverse folding task, conditional diffusion models have achieved impressive results in generating natural-like sequences that fold back into the original structure. However, practical design tasks often require not only modeling a conditional distribution but also optimizing specific task objectives. For instance, we may prefer protein sequences with high stability. To address this, we consider the scenario where we have pre-trained discrete diffusion models that can generate natural-like sequences, as well as reward models that map sequences to task objectives. We then formulate the reward maximization problem within discrete diffusion models, analogous to reinforcement learning (RL), while minimizing the KL divergence against pretrained diffusion models to preserve naturalness. To solve this RL problem, we propose a novel algorithm, DRAKES, that enables direct backpropagation of rewards through entire trajectories generated by diffusion models, by making the originally non-differentiable trajectories differentiable using the Gumbel-Softmax trick. Our theoretical analysis indicates that our approach can generate sequences that are both natural-like and yield high rewards. While similar tasks have been recently explored in diffusion models for continuous domains, our work addresses unique algorithmic and theoretical challenges specific to discrete diffusion models, which arise from their foundation in continuous-time Markov chains rather than Brownian motion. Finally, we demonstrate the effectiveness of DRAKES in generating DNA and protein sequences that optimize enhancer activity and protein stability, respectively, important tasks for gene therapies and protein-based therapeutics.
• Abstract（参考訳）: 近年の研究では、自然言語から生物学的配列生成までの領域にわたる離散配列上での拡散モデルの強い経験的性能が実証されている。 例えば、タンパク質の逆フォールディングタスクでは、条件付き拡散モデルは、元の構造に折り返される自然のような配列を生成するという印象的な結果を得た。 しかし、実用的な設計タスクは条件分布をモデル化するだけでなく、特定のタスクの目的を最適化する必要があることが多い。 例えば、高い安定性を持つタンパク質配列を好むかもしれない。 そこで本研究では、自然に類似した配列を生成する離散拡散モデルと、課題対象に配列をマッピングする報酬モデルが事前に学習されているシナリオについて考察する。 次に、離散拡散モデルにおける報酬最大化問題を、強化学習(RL)と同様に定式化し、KL分散を事前学習した拡散モデルに対して最小化し、自然性を維持する。 このRL問題を解くために,Gumbel-Softmax のトリックを用いて,拡散モデルにより生成された全軌跡による報酬の直接バックプロパゲーションを可能にする新しいアルゴリズム DRAKES を提案する。 我々の理論分析は、本手法が自然に類似し、高い報酬をもたらすシーケンスを生成可能であることを示唆している。 同様のタスクは、最近連続領域の拡散モデルにおいて研究されているが、我々の研究は、ブラウン運動ではなく、連続時間マルコフ連鎖の基盤から生じる離散拡散モデルに特有の独自のアルゴリズム的および理論的課題に対処している。 最後に, 遺伝子治療およびタンパク質ベースの治療において, プロテアーゼ活性およびタンパク質安定性を最適化するDNAおよびタンパク質配列の生成におけるDRAKESの有効性を示す。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Feedback Efficient Online Fine-Tuning of Diffusion Models [52.170384048274364]
  提案手法は, 実現可能なサンプルの多様体上で効率的に探索できる新しい強化学習手法である。 本稿では,3つの領域にまたがる実証的検証とともに,後悔の保証を提供する理論的解析を提案する。
  論文  参考訳（メタデータ） (2024-02-26T07:24:32Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• Dirichlet Diffusion Score Model for Biological Sequence Generation [2.0910267321492926]
  拡散生成モデルは、多くのアプリケーションでかなりの成功を収めた。 定常分布がディリクレ分布である確率単純空間で定義される拡散過程を導入する。 これにより、離散データのモデリングには連続空間での拡散が自然になる。
  論文  参考訳（メタデータ） (2023-05-18T04:24:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。