論文の概要: Unveil Inversion and Invariance in Flow Transformer for Versatile Image Editing

• arxiv url: http://arxiv.org/abs/2411.15843v2
• Date: Tue, 26 Nov 2024 07:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:39.634477
• Title: Unveil Inversion and Invariance in Flow Transformer for Versatile Image Editing
• Title（参考訳）: Versatile ImageEditingのためのフロートランスのUnveilインバージョンと不変性
• Authors: Pengcheng Xu, Boyuan Jiang, Xiaobin Hu, Donghao Luo, Qingdong He, Jiangning Zhang, Chengjie Wang, Yunsheng Wu, Charles Ling, Boyu Wang,
• Abstract要約: 本稿では,フロートランスを用いた拡散インバージョンと分散制御について解析する。 本稿では,まず速度推定を洗練し,残り誤差を補償する2段階逆転法を提案する。 この機構は、剛性および非剛性操作を許容しながら、非ターゲット内容の同時保存を可能にする。
• 参考スコア（独自算出の注目度）: 43.97960454977206
• License:
• Abstract: Leveraging the large generative prior of the flow transformer for tuning-free image editing requires authentic inversion to project the image into the model's domain and a flexible invariance control mechanism to preserve non-target contents. However, the prevailing diffusion inversion performs deficiently in flow-based models, and the invariance control cannot reconcile diverse rigid and non-rigid editing tasks. To address these, we systematically analyze the \textbf{inversion and invariance} control based on the flow transformer. Specifically, we unveil that the Euler inversion shares a similar structure to DDIM yet is more susceptible to the approximation error. Thus, we propose a two-stage inversion to first refine the velocity estimation and then compensate for the leftover error, which pivots closely to the model prior and benefits editing. Meanwhile, we propose the invariance control that manipulates the text features within the adaptive layer normalization, connecting the changes in the text prompt to image semantics. This mechanism can simultaneously preserve the non-target contents while allowing rigid and non-rigid manipulation, enabling a wide range of editing types such as visual text, quantity, facial expression, etc. Experiments on versatile scenarios validate that our framework achieves flexible and accurate editing, unlocking the potential of the flow transformer for versatile image editing.
• Abstract（参考訳）: チューニング不要な画像編集のためにフロートランスフォーマーの大規模な生成前を活用するには、モデルの領域に画像を投影する真正の反転と、非ターゲットコンテンツを保存するための柔軟な不変性制御機構が必要である。 しかし、拡散反転はフローベースモデルでは不十分であり、分散制御は多種多様な剛性および非剛性な編集タスクを調整できない。 これらの問題に対処するために,フロートランスをベースとした「textbf{inversion and invariance}」制御を系統的に解析する。 具体的には、EulerインバージョンがDDIMと類似の構造を共有しているが、近似誤差の影響を受けやすいことを明らかにする。 そこで本稿では,まず速度推定を洗練し,次に残差を補正する2段階の逆変換を提案する。 一方,適応層正規化におけるテキスト特徴を制御し,テキストプロンプトの変化を画像意味論に接続する不変制御を提案する。 この機構は、厳密かつ厳密な操作を可能とし、視覚テキスト、量、表情などの幅広い編集タイプを可能にするとともに、ターゲット外のコンテンツを同時に保存することができる。 汎用シナリオの実験により、我々のフレームワークはフレキシブルで正確な編集を実現し、多目的画像編集のためのフロートランスの可能性を解き放ちます。

関連論文リスト

• Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
  拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。 最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。 画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。 次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:51Z)
• Taming Rectified Flow for Inversion and Editing [57.3742655030493]
  FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野では例外的な性能を示した。 その堅牢な生成能力にもかかわらず、これらのモデルはしばしば不正確な逆転に悩まされ、画像やビデオ編集などの下流タスクにおける有効性を制限できる。 本稿では,修正フローODEの解法における誤差を低減し,インバージョン精度を向上させる新しいトレーニングフリーサンプリング器RF-rを提案する。
  論文  参考訳（メタデータ） (2024-11-07T14:29:02Z)
• Semantic Image Inversion and Editing using Rectified Stochastic Differential Equations [41.87051958934507]
  本稿では, (i) 逆転と (ii) 修正フローモデル(Flux など)を用いた実画像の編集という2つの重要な課題に対処する。 本手法は,ゼロショット・インバージョン・編集における最先端性能を実現し,ストローク・ツー・イメージ合成やセマンティック・イメージ編集における先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-14T17:56:24Z)
• Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing [60.730661748555214]
  textbfTask-textbfOriented textbfDiffusion textbfInversion (textbfTODInv) は、特定の編集タスクに適した実際の画像を反転して編集する新しいフレームワークである。 ToDInvは相互最適化によってインバージョンと編集をシームレスに統合し、高い忠実さと正確な編集性を保証する。
  論文  参考訳（メタデータ） (2024-08-23T22:16:34Z)
• Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing [2.5602836891933074]
  実際の画像を編集するための一般的な戦略は、拡散過程を反転させて元の画像のノイズ表現を得る。 拡散反転の現在の方法は、しばしば特定のテキストプロンプトに忠実で、ソースイメージによく似ている編集を生成するのに苦労する。 本稿では, DDIMサンプリング式における$eta$の役割を理論的に解析し, 編集性の向上を図った, 実画像編集のための新規かつ適応的な拡散インバージョン手法を提案する。
  論文  参考訳（メタデータ） (2024-03-14T15:07:36Z)
• DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image Editing [66.43179841884098]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。 既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。 本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
  論文  参考訳（メタデータ） (2024-02-04T18:50:29Z)
• Latent Space Editing in Transformer-Based Flow Matching [53.75073756305241]
  Flow Matching with a transformer backboneはスケーラブルで高品質な生成モデリングの可能性を秘めている。 編集スペースである$u$-spaceを導入し、制御可能で、蓄積可能で、構成可能な方法で操作できる。 最後に,テキストプロンプトを用いた微粒でニュアンスな編集を実現するための,単純かつ強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-12-17T21:49:59Z)
• Inversion-Free Image Editing with Natural Language [18.373145158518135]
  InfEdit(Inversion-free editing)は、厳密な意味的変化と非厳密な意味的変化の両面において、一貫性と忠実な編集を可能にする。 InfEditは、様々な編集タスクで強力なパフォーマンスを示し、また、1つのA40で3秒以内のシームレスなワークフローを維持し、リアルタイムアプリケーションの可能性を示している。
  論文  参考訳（メタデータ） (2023-12-07T18:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。