論文の概要: Dirichlet Flow Matching with Applications to DNA Sequence Design

• arxiv url: http://arxiv.org/abs/2402.05841v2
• Date: Thu, 30 May 2024 19:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 20:02:19.389140
• Title: Dirichlet Flow Matching with Applications to DNA Sequence Design
• Title（参考訳）: ディリクレフローマッチングとDNA配列設計への応用
• Authors: Hannes Stark, Bowen Jing, Chenyu Wang, Gabriele Corso, Bonnie Berger, Regina Barzilay, Tommi Jaakkola,
• Abstract要約: 確率経路としてのディリクレ分布の混合に基づいて, 単純度に基づくディリクレフローマッチングを開発する。 蒸留したディリクレフローマッチングにより,最小性能で一段階のシーケンス生成が可能となる。
• 参考スコア（独自算出の注目度）: 37.12809686044779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discrete diffusion or flow models could enable faster and more controllable sequence generation than autoregressive models. We show that na\"ive linear flow matching on the simplex is insufficient toward this goal since it suffers from discontinuities in the training target and further pathologies. To overcome this, we develop Dirichlet flow matching on the simplex based on mixtures of Dirichlet distributions as probability paths. In this framework, we derive a connection between the mixtures' scores and the flow's vector field that allows for classifier and classifier-free guidance. Further, we provide distilled Dirichlet flow matching, which enables one-step sequence generation with minimal performance hits, resulting in $O(L)$ speedups compared to autoregressive models. On complex DNA sequence generation tasks, we demonstrate superior performance compared to all baselines in distributional metrics and in achieving desired design targets for generated sequences. Finally, we show that our classifier-free guidance approach improves unconditional generation and is effective for generating DNA that satisfies design targets. Code is available at https://github.com/HannesStark/dirichlet-flow-matching.
• Abstract（参考訳）: 離散拡散またはフローモデルは自己回帰モデルよりも高速で制御可能なシーケンス生成を可能にする。 トレーニング対象における不連続性やさらなる病態に悩まされているため, 単純点上での「線形フローマッチング」は, この目標に向けて不十分であることを示す。 これを解決するために,確率経路としてのディリクレ分布の混合に基づいて,単純度に基づくディリクレフローマッチングを開発する。 本研究では,混合器の点数とフローのベクトル場との接続を導出し,分類器と分類器を含まない指導を可能にする。 さらに, 蒸留したディリクレフローマッチングにより, 最小性能で1ステップのシーケンス生成が可能となり, オートレグレッシブモデルと比較してO(L)$の高速化が可能となる。 複雑なDNAシークエンス生成タスクにおいて、分布測定値のすべてのベースラインと比較して優れた性能を示し、生成した配列に対して望ましい設計目標を達成する。 最後に, 設計目標を満たすDNAの生成に有効であることを示す。 コードはhttps://github.com/HannesStark/dirichlet-flow-matchingで入手できる。

関連論文リスト

• Integrating Geodesic Interpolation and Flow Matching for Non-Autoregressive Text Generation in Logit Space [4.347494885647007]
  非自己回帰型言語モデルは、自然言語処理分野における自己回帰型モデルの効果的な代替手段として出現している。 本研究では,Kulback-Leibler分散測地学を用いて,離散列の初期分布と対象分布を補間する新しい流れマッチング手法を提案する。
  論文  参考訳（メタデータ） (2024-11-25T17:15:41Z)
• Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow [65.51671121528858]
  拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:43:38Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。