論文の概要: Dirichlet Flow Matching with Applications to DNA Sequence Design
- arxiv url: http://arxiv.org/abs/2402.05841v2
- Date: Thu, 30 May 2024 19:09:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 20:02:19.389140
- Title: Dirichlet Flow Matching with Applications to DNA Sequence Design
- Title(参考訳): ディリクレフローマッチングとDNA配列設計への応用
- Authors: Hannes Stark, Bowen Jing, Chenyu Wang, Gabriele Corso, Bonnie Berger, Regina Barzilay, Tommi Jaakkola,
- Abstract要約: 確率経路としてのディリクレ分布の混合に基づいて, 単純度に基づくディリクレフローマッチングを開発する。
蒸留したディリクレフローマッチングにより,最小性能で一段階のシーケンス生成が可能となる。
- 参考スコア(独自算出の注目度): 37.12809686044779
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discrete diffusion or flow models could enable faster and more controllable sequence generation than autoregressive models. We show that na\"ive linear flow matching on the simplex is insufficient toward this goal since it suffers from discontinuities in the training target and further pathologies. To overcome this, we develop Dirichlet flow matching on the simplex based on mixtures of Dirichlet distributions as probability paths. In this framework, we derive a connection between the mixtures' scores and the flow's vector field that allows for classifier and classifier-free guidance. Further, we provide distilled Dirichlet flow matching, which enables one-step sequence generation with minimal performance hits, resulting in $O(L)$ speedups compared to autoregressive models. On complex DNA sequence generation tasks, we demonstrate superior performance compared to all baselines in distributional metrics and in achieving desired design targets for generated sequences. Finally, we show that our classifier-free guidance approach improves unconditional generation and is effective for generating DNA that satisfies design targets. Code is available at https://github.com/HannesStark/dirichlet-flow-matching.
- Abstract(参考訳): 離散拡散またはフローモデルは自己回帰モデルよりも高速で制御可能なシーケンス生成を可能にする。
トレーニング対象における不連続性やさらなる病態に悩まされているため, 単純点上での「線形フローマッチング」は, この目標に向けて不十分であることを示す。
これを解決するために,確率経路としてのディリクレ分布の混合に基づいて,単純度に基づくディリクレフローマッチングを開発する。
本研究では,混合器の点数とフローのベクトル場との接続を導出し,分類器と分類器を含まない指導を可能にする。
さらに, 蒸留したディリクレフローマッチングにより, 最小性能で1ステップのシーケンス生成が可能となり, オートレグレッシブモデルと比較してO(L)$の高速化が可能となる。
複雑なDNAシークエンス生成タスクにおいて、分布測定値のすべてのベースラインと比較して優れた性能を示し、生成した配列に対して望ましい設計目標を達成する。
最後に, 設計目標を満たすDNAの生成に有効であることを示す。
コードはhttps://github.com/HannesStark/dirichlet-flow-matchingで入手できる。
関連論文リスト
- Improving Consistency Models with Generator-Induced Coupling [14.939615590071917]
本研究では,入力ノイズデータを一貫性モデル自体から生成した出力に関連付ける新しい結合手法を提案する。
当社の安価なアプローチでは,一貫性モデル固有の能力を活用して,単一のステップでトランスポートマップを計算しています。
論文 参考訳(メタデータ) (2024-06-13T20:22:38Z) - Mixed Continuous and Categorical Flow Matching for 3D De Novo Molecule Generation [0.0]
フローマッチングは拡散モデルを一般化する最近提案された生成モデリングフレームワークである。
本稿では,フローマッチングフレームワークを,確率単純性として知られるカテゴリデータの連続的な表現に制約のあるフローを構築することにより,カテゴリデータに拡張する。
実際には、データのカテゴリ的な性質に配慮しないシンプルなアプローチは、同等あるいは優れたパフォーマンスをもたらすことが分かっています。
論文 参考訳(メタデータ) (2024-04-30T17:37:21Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。
我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。
これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。
得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
論文 参考訳(メタデータ) (2023-06-08T17:59:58Z) - Flow Network based Generative Models for Non-Iterative Diverse Candidate
Generation [110.09855163856326]
本稿では,アクションのシーケンスからオブジェクトを生成するためのポリシーを学習する問題について述べる。
本稿では,生成過程をフローネットワークとして見たGFlowNetを提案する。
提案した目的の任意のグローバルな最小限が、所望の分布から標本化する方針を導出することを証明する。
論文 参考訳(メタデータ) (2021-06-08T14:21:10Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳(メタデータ) (2020-03-04T08:15:06Z) - Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。
我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
論文 参考訳(メタデータ) (2019-12-30T17:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。