論文の概要: D-Flow: Differentiating through Flows for Controlled Generation
- arxiv url: http://arxiv.org/abs/2402.14017v1
- Date: Wed, 21 Feb 2024 18:56:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 14:09:01.145251
- Title: D-Flow: Differentiating through Flows for Controlled Generation
- Title(参考訳): D-Flow:制御生成のための流れの微分
- Authors: Heli Ben-Hamu, Omri Puny, Itai Gat, Brian Karrer, Uriel Singer, Yaron
Lipman
- Abstract要約: フローを微分することで生成プロセスを制御するフレームワークであるD-Flowを紹介する。
我々は、ガウス確率パスで訓練された拡散/FMモデルに対して、生成過程を微分することで、データ多様体の勾配を予測できるというキーとなる観察によって、この枠組みを動機付けている。
我々は,画像と音声の逆問題や条件分子生成など,線形および非線形に制御された生成問題に対する枠組みを検証する。
- 参考スコア(独自算出の注目度): 40.05986937727134
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Taming the generation outcome of state of the art Diffusion and Flow-Matching
(FM) models without having to re-train a task-specific model unlocks a powerful
tool for solving inverse problems, conditional generation, and controlled
generation in general. In this work we introduce D-Flow, a simple framework for
controlling the generation process by differentiating through the flow,
optimizing for the source (noise) point. We motivate this framework by our key
observation stating that for Diffusion/FM models trained with Gaussian
probability paths, differentiating through the generation process projects
gradient on the data manifold, implicitly injecting the prior into the
optimization process. We validate our framework on linear and non-linear
controlled generation problems including: image and audio inverse problems and
conditional molecule generation reaching state of the art performance across
all.
- Abstract(参考訳): タスク固有のモデルを再トレーニングすることなく、Diffusion and Flow-Matching(FM)モデルの状態の生成結果に対処することで、逆問題、条件生成、制御された生成を一般的に解決する強力なツールを解放する。
D-Flowは、フローを微分し、ソース(ノイズ)ポイントを最適化することで生成プロセスを制御するシンプルなフレームワークです。
ガウス確率経路でトレーニングされた拡散/fmモデルでは、生成プロセスを通してデータ多様体上の勾配を計画し、最適化プロセスに暗黙的に事前を注入する。
画像と音声の逆問題と条件分子生成がすべての芸術性能に到達した状態を含む線形および非線形制御生成問題に関する枠組みを検証する。
関連論文リスト
- Adaptively Controllable Diffusion Model for Efficient Conditional Image Generation [8.857237929151795]
本稿では,新たな適応フレームワークである$textitAdaptively Controllable Diffusion (AC-Diff) Model$を提案する。
AC-Diffは、文学拡散モデルと同じ性能を維持しつつ、平均生成ステップ数と実行時間を大幅に削減することが期待されている。
論文 参考訳(メタデータ) (2024-11-19T21:26:30Z) - Local Flow Matching Generative Models [19.859984725284896]
フローマッチング(英: Flow Matching, FM)は、2つの分布を補間する連続的かつ非可逆的な流れを学習するためのシミュレーション不要な手法である。
FMサブモデルのシーケンスを学習し,それぞれがデータ-雑音方向のステップサイズまで拡散過程と一致するローカルフローマッチング(LFM)を導入する。
実験では, FMと比較して, LFMの訓練効率と競争的生成性能の改善を実証した。
論文 参考訳(メタデータ) (2024-10-03T14:53:10Z) - Text-to-Image Rectified Flow as Plug-and-Play Priors [52.586838532560755]
整流流は、ソースからターゲット分布への線形進行を強制する新しい生成モデルのクラスである。
補正フローアプローチが生成品質と効率を上回り,推論ステップを少なくすることを示した。
また,画像のインバージョンや編集における競合性能も示す。
論文 参考訳(メタデータ) (2024-06-05T14:02:31Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。
これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。
我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
論文 参考訳(メタデータ) (2023-10-25T13:23:08Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳(メタデータ) (2023-10-04T09:39:05Z) - Training-free Linear Image Inverses via Flows [17.291903204982326]
本研究では,事前学習フローモデルを用いて,線形逆問題に対する学習自由度を求める手法を提案する。
提案手法では,高次元データセット上でのノイズの多い線形逆問題に対して,問題固有のチューニングは不要である。
論文 参考訳(メタデータ) (2023-09-25T22:13:16Z) - Generative Flows with Invertible Attentions [135.23766216657745]
生成フローモデルに対する2種類の非可逆的注意機構を導入する。
フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。
提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
論文 参考訳(メタデータ) (2021-06-07T20:43:04Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳(メタデータ) (2020-04-08T09:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。