論文の概要: UniEdit-Flow: Unleashing Inversion and Editing in the Era of Flow Models
- arxiv url: http://arxiv.org/abs/2504.13109v1
- Date: Thu, 17 Apr 2025 17:24:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-18 14:36:36.266085
- Title: UniEdit-Flow: Unleashing Inversion and Editing in the Era of Flow Models
- Title(参考訳): UniEdit-Flow: フローモデルの時代におけるインバージョンと編集の解放
- Authors: Guanlong Jiao, Biqing Huang, Kuan-Chieh Wang, Renjie Liao,
- Abstract要約: 拡散モデルの強力な代替手段としてフローマッチングモデルが登場した。
拡散のために設計された既存の反転と編集法は、しばしばそれらに効果がないか、適用できない。
本稿では,フローモデルにおけるインバージョンと編集のための予測器ベースのフレームワークを提案する。
- 参考スコア(独自算出の注目度): 16.48956793278156
- License:
- Abstract: Flow matching models have emerged as a strong alternative to diffusion models, but existing inversion and editing methods designed for diffusion are often ineffective or inapplicable to them. The straight-line, non-crossing trajectories of flow models pose challenges for diffusion-based approaches but also open avenues for novel solutions. In this paper, we introduce a predictor-corrector-based framework for inversion and editing in flow models. First, we propose Uni-Inv, an effective inversion method designed for accurate reconstruction. Building on this, we extend the concept of delayed injection to flow models and introduce Uni-Edit, a region-aware, robust image editing approach. Our methodology is tuning-free, model-agnostic, efficient, and effective, enabling diverse edits while ensuring strong preservation of edit-irrelevant regions. Extensive experiments across various generative models demonstrate the superiority and generalizability of Uni-Inv and Uni-Edit, even under low-cost settings. Project page: https://uniedit-flow.github.io/
- Abstract(参考訳): 拡散モデルの強力な代替としてフローマッチングモデルが登場したが、拡散のために設計された既存の逆転法や編集法は、しばしば非効率または適用不能である。
流れモデルの直線的、非交叉的軌跡は拡散に基づくアプローチに挑戦するだけでなく、新しい解の道を開く。
本稿では,フローモデルにおけるインバージョンと編集のための予測器ベースのフレームワークを提案する。
まず, 高精度な再構成のための効果的な逆変換法Uni-Invを提案する。
これに基づいて、フローモデルへの遅延注入の概念を拡張し、領域対応で堅牢な画像編集アプローチであるUni-Editを導入する。
本手法は, チューニング不要, モデル非依存, 効率的, 効果的であり, 多様な編集が可能であり, 編集非関連領域の保存性は高い。
様々な生成モデルにわたる大規模な実験は、低コストな設定でもUni-InvとUni-Editの優位性と一般化性を示す。
プロジェクトページ: https://uniedit-flow.github.io/
関連論文リスト
- FlowEdit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models [20.46531356084352]
事前訓練されたテキスト・トゥ・イメージ(T2I)拡散/フローモデルを用いて実際の画像を編集する場合、しばしば画像が対応するノイズマップに逆転する。
本稿では、インバージョンフリー、最適化フリー、モデル非依存のT2Iフローモデルのテキストベースの編集方法であるFlowEditを紹介する。
論文 参考訳(メタデータ) (2024-12-11T18:50:29Z) - Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。
最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。
画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。
次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
論文 参考訳(メタデータ) (2024-11-21T18:59:51Z) - Taming Rectified Flow for Inversion and Editing [57.3742655030493]
FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野で優れた性能を発揮している。
その堅牢な生成能力にもかかわらず、これらのモデルは不正確さに悩まされることが多い。
本研究では,修正流の逆流過程における誤差を軽減し,インバージョン精度を効果的に向上する訓練自由サンプリング器RF-rを提案する。
論文 参考訳(メタデータ) (2024-11-07T14:29:02Z) - Text-to-Image Rectified Flow as Plug-and-Play Priors [52.586838532560755]
整流流は、ソースからターゲット分布への線形進行を強制する新しい生成モデルのクラスである。
補正フローアプローチが生成品質と効率を上回り,推論ステップを少なくすることを示した。
また,画像のインバージョンや編集における競合性能も示す。
論文 参考訳(メタデータ) (2024-06-05T14:02:31Z) - Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing [2.5602836891933074]
実際の画像を編集するための一般的な戦略は、拡散過程を反転させて元の画像のノイズ表現を得る。
拡散反転の現在の方法は、しばしば特定のテキストプロンプトに忠実で、ソースイメージによく似ている編集を生成するのに苦労する。
本稿では, DDIMサンプリング式における$eta$の役割を理論的に解析し, 編集性の向上を図った, 実画像編集のための新規かつ適応的な拡散インバージョン手法を提案する。
論文 参考訳(メタデータ) (2024-03-14T15:07:36Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - Training-free Linear Image Inverses via Flows [17.291903204982326]
本研究では,事前学習フローモデルを用いて,線形逆問題に対する学習自由度を求める手法を提案する。
提案手法では,高次元データセット上でのノイズの多い線形逆問題に対して,問題固有のチューニングは不要である。
論文 参考訳(メタデータ) (2023-09-25T22:13:16Z) - Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC [102.64648158034568]
拡散モデルは、多くの領域において、生成モデリングの一般的なアプローチとなっている。
本稿では,新しい構成演算子の利用を可能にする拡散モデルのエネルギーベースパラメータ化を提案する。
これらのサンプルは、幅広い問題にまたがって構成生成の顕著な改善につながっている。
論文 参考訳(メタデータ) (2023-02-22T18:48:46Z) - DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。
機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。
また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
論文 参考訳(メタデータ) (2022-10-30T16:55:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。