論文の概要: Taming Rectified Flow for Inversion and Editing

• arxiv url: http://arxiv.org/abs/2411.04746v2
• Date: Thu, 28 Nov 2024 15:39:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:16:14.673138
• Title: Taming Rectified Flow for Inversion and Editing
• Title（参考訳）: インバージョンと編集のための整流処理
• Authors: Jiangshan Wang, Junfu Pu, Zhongang Qi, Jiayi Guo, Yue Ma, Nisha Huang, Yuxin Chen, Xiu Li, Ying Shan,
• Abstract要約: FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野で優れた性能を発揮している。 その堅牢な生成能力にもかかわらず、これらのモデルは不正確さに悩まされることが多い。 本研究では,修正流の逆流過程における誤差を軽減し,インバージョン精度を効果的に向上する訓練自由サンプリング器RF-rを提案する。
• 参考スコア（独自算出の注目度）: 57.3742655030493
• License:
• Abstract: Rectified-flow-based diffusion transformers like FLUX and OpenSora have demonstrated outstanding performance in the field of image and video generation. Despite their robust generative capabilities, these models often struggle with inversion inaccuracies, which could further limit their effectiveness in downstream tasks such as image and video editing. To address this issue, we propose RF-Solver, a novel training-free sampler that effectively enhances inversion precision by mitigating the errors in the ODE-solving process of rectified flow. Specifically, we derive the exact formulation of the rectified flow ODE and apply the high-order Taylor expansion to estimate its nonlinear components, significantly enhancing the precision of ODE solutions at each timestep. Building upon RF-Solver, we further propose RF-Edit, a general feature-sharing-based framework for image and video editing. By incorporating self-attention features from the inversion process into the editing process, RF-Edit effectively preserves the structural information of the source image or video while achieving high-quality editing results. Our approach is compatible with any pre-trained rectified-flow-based models for image and video tasks, requiring no additional training or optimization. Extensive experiments across generation, inversion, and editing tasks in both image and video modalities demonstrate the superiority and versatility of our method. The source code is available at https://github.com/wangjiangshan0725/RF-Solver-Edit.
• Abstract（参考訳）: FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野で優れた性能を発揮している。 その堅牢な生成能力にもかかわらず、これらのモデルはインバージョン不正確さに苦しむことが多く、画像やビデオ編集などの下流タスクにおいて、その効果をさらに制限する可能性がある。 そこで本研究では,修正流れのODE解法における誤差を軽減し,インバージョン精度を効果的に向上する新しいトレーニングフリーサンプリング器RF-Solverを提案する。 具体的には、正流ODEの正確な定式化を導出し、高次テイラー展開を適用して非線形成分を推定し、各時間ステップにおけるODE解の精度を大幅に向上させる。 RF-Solver上に構築されたRF-Editは,画像とビデオの編集のための一般的な機能共有ベースのフレームワークである。 RF-Editは、インバージョンプロセスから編集プロセスに自己注意機能を組み込むことで、高品質な編集結果を達成しつつ、ソース画像やビデオの構造情報を効果的に保存する。 我々のアプローチは、イメージタスクとビデオタスクのための事前トレーニング済みの修正フローベースモデルと互換性があり、追加のトレーニングや最適化は必要ありません。 画像・ビデオの両モードにおける生成・反転・編集作業における広範囲な実験により,本手法の優位性と汎用性を示した。 ソースコードはhttps://github.com/wangjiangshan0725/RF-Solver-Editで公開されている。

関連論文リスト

• Steering Rectified Flow Models in the Vector Field for Controlled Image Generation [53.965218831845995]
  拡散モデル(DM)は、フォトリアリズム、画像編集、逆問題解決に優れ、分類器なしのガイダンスと画像反転技術によって支援される。 既存のDMベースの手法は、しばしば追加のトレーニングを必要とし、事前訓練された潜在モデルへの一般化が欠如し、ODEソルバと反転プロセスによる広範なバックプロパゲーションにより、計算資源が要求される。 本研究では,ベクトル場を利用した画像生成タスクのデノイング軌道の制御を行うFlowChefを提案する。 FlowChefは、パフォーマンス、メモリ、時間要件の点でベースラインを大幅に上回り、新しい状態を達成する。
  論文  参考訳（メタデータ） (2024-11-27T19:04:40Z)
• Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
  拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。 最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。 画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。 次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:51Z)
• Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning-Free Real Image Editing [42.73883397041092]
  本稿では,誘導機構による拡散サンプリングプロセスの修正に基づく新しい手法を提案する。 本研究では,入力画像の全体構造を保存するための自己誘導手法について検討する。 本稿では,人間の評価と定量的分析を通じて,提案手法が望ましい編集を可能にすることを示す。
  論文  参考訳（メタデータ） (2024-09-02T15:21:46Z)
• COVE: Unleashing the Diffusion Feature Correspondence for Consistent Video Editing [57.76170824395532]
  ビデオ編集は新たな課題であり、現在のほとんどの手法では、ソースビデオを編集するために、事前訓練されたテキスト・トゥ・イメージ(T2I)拡散モデルを採用している。 我々は,高品質で一貫したビデオ編集を実現するために,COVE(Cor correspondingence-guided Video Editing)を提案する。 COVEは、追加のトレーニングや最適化を必要とせずに、事前訓練されたT2I拡散モデルにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2024-06-13T06:27:13Z)
• Zero-Shot Video Editing through Adaptive Sliding Score Distillation [51.57440923362033]
  本研究は,オリジナルビデオコンテンツの直接操作を容易にする,ビデオベースのスコア蒸留の新たなパラダイムを提案する。 本稿では,グローバルとローカルの両方の動画ガイダンスを取り入れた適応スライディングスコア蒸留方式を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:33:59Z)
• FreeDiff: Progressive Frequency Truncation for Image Editing with Diffusion Models [44.26371926512843]
  我々は、プログレッシブな$textbfFre$qu$textbfe$ncy truncationを用いて、ユニバーサル編集タスクのための$textbfDiff$usionモデルのガイダンスを洗練するために、新しいフリーアプローチを導入する。 本手法は,様々な編集タスクや多様な画像に対して,最先端の手法で比較結果を得る。
  論文  参考訳（メタデータ） (2024-04-18T04:47:28Z)
• Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing [2.5602836891933074]
  実際の画像を編集するための一般的な戦略は、拡散過程を反転させて元の画像のノイズ表現を得る。 拡散反転の現在の方法は、しばしば特定のテキストプロンプトに忠実で、ソースイメージによく似ている編集を生成するのに苦労する。 本稿では, DDIMサンプリング式における$eta$の役割を理論的に解析し, 編集性の向上を図った, 実画像編集のための新規かつ適応的な拡散インバージョン手法を提案する。
  論文  参考訳（メタデータ） (2024-03-14T15:07:36Z)
• Latent Space Editing in Transformer-Based Flow Matching [53.75073756305241]
  Flow Matching with a transformer backboneはスケーラブルで高品質な生成モデリングの可能性を秘めている。 編集スペースである$u$-spaceを導入し、制御可能で、蓄積可能で、構成可能な方法で操作できる。 最後に,テキストプロンプトを用いた微粒でニュアンスな編集を実現するための,単純かつ強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-12-17T21:49:59Z)
• Effective Real Image Editing with Accelerated Iterative Diffusion Inversion [6.335245465042035]
  現代の生成モデルで自然画像を編集し、操作することは依然として困難である。 逆安定性の問題に対処した既存のアプローチは、しばしば計算効率において大きなトレードオフをもたらす。 本稿では,空間および時間的複雑さの最小限のオーバーヘッドで再構成精度を大幅に向上させる,AIDIと呼ばれる高速化反復拡散インバージョン法を提案する。
  論文  参考訳（メタデータ） (2023-09-10T01:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。