論文の概要: FlowOpt: Fast Optimization Through Whole Flow Processes for Training-Free Editing
- arxiv url: http://arxiv.org/abs/2510.22010v1
- Date: Fri, 24 Oct 2025 20:24:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 15:28:14.73529
- Title: FlowOpt: Fast Optimization Through Whole Flow Processes for Training-Free Editing
- Title(参考訳): FlowOpt: トレーニング不要な編集のための全フロープロセスによる高速最適化
- Authors: Or Ronai, Vladimir Kulikov, Tomer Michaeli,
- Abstract要約: FlowOptは、フロープロセス全体をブラックボックスとして扱う、ゼロオーダー(段階的な)最適化フレームワークである。
本研究では,FlowOptが画像編集にどのように使用できるかを示す。 (i) インバージョン(与えられた画像を生成する初期ノイズを決定する) および (ii) 編集した画像をソース画像に類似するように直接ステアリングする方法である。
- 参考スコア(独自算出の注目度): 37.12178941086993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The remarkable success of diffusion and flow-matching models has ignited a surge of works on adapting them at test time for controlled generation tasks. Examples range from image editing to restoration, compression and personalization. However, due to the iterative nature of the sampling process in those models, it is computationally impractical to use gradient-based optimization to directly control the image generated at the end of the process. As a result, existing methods typically resort to manipulating each timestep separately. Here we introduce FlowOpt - a zero-order (gradient-free) optimization framework that treats the entire flow process as a black box, enabling optimization through the whole sampling path without backpropagation through the model. Our method is both highly efficient and allows users to monitor the intermediate optimization results and perform early stopping if desired. We prove a sufficient condition on FlowOpt's step-size, under which convergence to the global optimum is guaranteed. We further show how to empirically estimate this upper bound so as to choose an appropriate step-size. We demonstrate how FlowOpt can be used for image editing, showcasing two options: (i) inversion (determining the initial noise that generates a given image), and (ii) directly steering the edited image to be similar to the source image while conforming to a target text prompt. In both cases, FlowOpt achieves state-of-the-art results while using roughly the same number of neural function evaluations (NFEs) as existing methods. Code and examples are available on the project's webpage.
- Abstract(参考訳): 拡散モデルと流れマッチングモデルの顕著な成功により、制御された生成タスクのテスト時にそれらを適用する作業が急増した。
例えば、画像編集から復元、圧縮、パーソナライゼーションまで。
しかし、これらのモデルにおけるサンプリングプロセスの反復性のため、勾配に基づく最適化を用いてプロセスの終了時に生成した画像を直接制御することは、計算的に不可能である。
その結果、既存の手法では各タイムステップを個別に操作するのが一般的である。
ここでは、フロープロセス全体をブラックボックスとして扱い、モデルのバックプロパゲーションなしにサンプリングパス全体の最適化を可能にする、ゼロオーダー(段階的な)最適化フレームワークであるFlowOptを紹介します。
提案手法はどちらも効率が高く,中間最適化結果の監視や,必要に応じて早期停止を行うことが可能である。
我々は,大域的最適度への収束が保証されるFlowOptのステップサイズについて十分な条件を証明した。
さらに、適切なステップサイズを選択するために、この上限を経験的に見積もる方法を示す。
FlowOptが画像編集にどのように使えるかを示し、以下の2つの選択肢を示します。
(i)逆転(所定の画像を生成する初期雑音を決定する)、
(ii)対象のテキストプロンプトに従って、編集された画像をソース画像と類似するように直接ステアリングする。
どちらの場合も、FlowOptは既存の方法とほぼ同じ数のニューラルファンクション評価(NFE)を使用しながら、最先端の結果を達成する。
コードとサンプルはプロジェクトのWebページで公開されている。
関連論文リスト
- FlowEdit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models [20.46531356084352]
事前訓練されたテキスト・トゥ・イメージ(T2I)拡散/フローモデルを用いて実際の画像を編集する場合、しばしば画像が対応するノイズマップに逆転する。
本稿では、インバージョンフリー、最適化フリー、モデル非依存のT2Iフローモデルのテキストベースの編集方法であるFlowEditを紹介する。
論文 参考訳(メタデータ) (2024-12-11T18:50:29Z) - COT Flow: Learning Optimal-Transport Image Sampling and Editing by Contrastive Pairs [7.542892664684078]
Contrastive Optimal Transport Flow (COT Flow) は、ゼロショット編集の柔軟性を向上し、高速かつ高品質な生成を実現する新しい手法である。
品質の面では、COT Flowは従来の最先端のイメージ・ツー・イメージ(I2I)翻訳法と比較して1ステップで競合結果を生成することができる。
COT Flowは、従来の最先端の未実装画像画像変換法(I2I)と比較して、競争力のある結果を生成することができる。
論文 参考訳(メタデータ) (2024-06-17T23:02:20Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - High-Fidelity Guided Image Synthesis with Latent Diffusion Models [50.39294302741698]
提案手法は, ユーザ満足度スコアを85.32%以上上回り, 従来の最先端技術よりも優れていた。
人的ユーザ調査の結果、提案手法は、全体のユーザ満足度スコアにおいて、従来の最先端技術よりも85.32%以上優れていたことが示されている。
論文 参考訳(メタデータ) (2022-11-30T15:43:20Z) - Towards An End-to-End Framework for Flow-Guided Video Inpainting [68.71844500391023]
フローガイド型ビデオインペインティングのためのエンドツーエンドフレームワーク(E$2$FGVI)を提案する。
提案手法は定性的かつ定量的に最先端の手法より優れている。
論文 参考訳(メタデータ) (2022-04-06T08:24:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。