論文の概要: Steering Rectified Flow Models in the Vector Field for Controlled Image Generation

• arxiv url: http://arxiv.org/abs/2412.00100v1
• Date: Wed, 27 Nov 2024 19:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:26.036815
• Title: Steering Rectified Flow Models in the Vector Field for Controlled Image Generation
• Title（参考訳）: 制御画像生成のためのベクトル場におけるステアリング整流モデル
• Authors: Maitreya Patel, Song Wen, Dimitris N. Metaxas, Yezhou Yang,
• Abstract要約: 拡散モデル(DM)は、フォトリアリズム、画像編集、逆問題解決に優れ、分類器なしのガイダンスと画像反転技術によって支援される。 既存のDMベースの手法は、しばしば追加のトレーニングを必要とし、事前訓練された潜在モデルへの一般化が欠如し、ODEソルバと反転プロセスによる広範なバックプロパゲーションにより、計算資源が要求される。 本研究では,ベクトル場を利用した画像生成タスクのデノイング軌道の制御を行うFlowChefを提案する。 FlowChefは、パフォーマンス、メモリ、時間要件の点でベースラインを大幅に上回り、新しい状態を達成する。
• 参考スコア（独自算出の注目度）: 53.965218831845995
• License:
• Abstract: Diffusion models (DMs) excel in photorealism, image editing, and solving inverse problems, aided by classifier-free guidance and image inversion techniques. However, rectified flow models (RFMs) remain underexplored for these tasks. Existing DM-based methods often require additional training, lack generalization to pretrained latent models, underperform, and demand significant computational resources due to extensive backpropagation through ODE solvers and inversion processes. In this work, we first develop a theoretical and empirical understanding of the vector field dynamics of RFMs in efficiently guiding the denoising trajectory. Our findings reveal that we can navigate the vector field in a deterministic and gradient-free manner. Utilizing this property, we propose FlowChef, which leverages the vector field to steer the denoising trajectory for controlled image generation tasks, facilitated by gradient skipping. FlowChef is a unified framework for controlled image generation that, for the first time, simultaneously addresses classifier guidance, linear inverse problems, and image editing without the need for extra training, inversion, or intensive backpropagation. Finally, we perform extensive evaluations and show that FlowChef significantly outperforms baselines in terms of performance, memory, and time requirements, achieving new state-of-the-art results. Project Page: \url{https://flowchef.github.io}.
• Abstract（参考訳）: 拡散モデル(DM)は、フォトリアリズム、画像編集、逆問題解決に優れ、分類器なしのガイダンスと画像反転技術によって支援される。 しかし、これらの課題に対して修正フローモデル (RFM) は未検討のままである。 既存のDMベースの手法は、しばしば追加のトレーニングを必要とし、事前訓練された潜在モデルへの一般化が欠如し、ODEソルバと反転プロセスによる広範なバックプロパゲーションにより、計算資源が要求される。 本研究ではまず, RFMのベクトル場力学を理論的, 実証的に理解し, 軌道の導出を効率的に行う。 その結果,ベクトル場を決定論的かつ勾配のない方法でナビゲートできることが判明した。 この特性を利用することで、ベクトル場を利用して、勾配スキップにより容易となる、制御された画像生成タスクのデノイング軌道を操るFlowChefを提案する。 FlowChefは、制御された画像生成のための統一されたフレームワークであり、初めて分類器のガイダンス、線形逆問題、画像編集に、余分なトレーニング、反転、あるいは集中的なバックプロパゲーションを必要とせずに、同時に対処する。 最後に、我々は広範囲な評価を行い、FlowChefがパフォーマンス、メモリ、時間要件の点でベースラインを大幅に上回り、新しい最先端の結果を達成することを示す。 プロジェクトページ: \url{https://flowchef.github.io}。

関連論文リスト

• OFTSR: One-Step Flow for Image Super-Resolution with Tunable Fidelity-Realism Trade-offs [20.652907645817713]
  OFTSRはワンステップ画像超解像のためのフローベースフレームワークであり、可変レベルの忠実度とリアリズムで出力を生成することができる。 我々は,一段階画像の超高解像度化を実現するとともに,忠実現実主義のトレードオフを柔軟に調整できることを実証した。
  論文  参考訳（メタデータ） (2024-12-12T17:14:58Z)
• Taming Rectified Flow for Inversion and Editing [57.3742655030493]
  FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野で優れた性能を発揮している。 その堅牢な生成能力にもかかわらず、これらのモデルは不正確さに悩まされることが多い。 本研究では,修正流の逆流過程における誤差を軽減し,インバージョン精度を効果的に向上する訓練自由サンプリング器RF-rを提案する。
  論文  参考訳（メタデータ） (2024-11-07T14:29:02Z)
• Semantic Image Inversion and Editing using Rectified Stochastic Differential Equations [41.87051958934507]
  本稿では, (i) 逆転と (ii) 修正フローモデル(Flux など)を用いた実画像の編集という2つの重要な課題に対処する。 本手法は,ゼロショット・インバージョン・編集における最先端性能を実現し,ストローク・ツー・イメージ合成やセマンティック・イメージ編集における先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-14T17:56:24Z)
• FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
  FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。 私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
  論文  参考訳（メタデータ） (2024-06-01T17:29:29Z)
• D-Flow: Differentiating through Flows for Controlled Generation [37.80603174399585]
  フローを微分することで生成プロセスを制御するフレームワークであるD-Flowを紹介する。 我々は、ガウス確率パスで訓練された拡散/FMモデルに対して、生成過程を微分することで、データ多様体の勾配を予測できるというキーとなる観察によって、この枠組みを動機付けている。 我々は,画像と音声の逆問題や条件分子生成など,線形および非線形に制御された生成問題に対する枠組みを検証する。
  論文  参考訳（メタデータ） (2024-02-21T18:56:03Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
  本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。 これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。 我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2023-10-25T13:23:08Z)
• Aligning Text-to-Image Diffusion Models with Reward Backpropagation [62.45086888512723]
  本稿では,報酬勾配のエンドツーエンドのバックプロパゲーションを用いて,拡散モデルを下流の報酬関数に整合させる手法であるAlignPropを提案する。 AlignPropは、選択肢よりも少ないトレーニングステップでより高い報酬を得るが、概念的にはシンプルである。
  論文  参考訳（メタデータ） (2023-10-05T17:59:18Z)
• Denoising Diffusion Restoration Models [110.1244240726802]
  Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。 DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
  論文  参考訳（メタデータ） (2022-01-27T20:19:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。