論文の概要: FlowEdit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models

• arxiv url: http://arxiv.org/abs/2412.08629v1
• Date: Wed, 11 Dec 2024 18:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:03:29.573301
• Title: FlowEdit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models
• Title（参考訳）: FlowEdit: 事前学習フローモデルを用いたインバージョンフリーテキストベース編集
• Authors: Vladimir Kulikov, Matan Kleiner, Inbar Huberman-Spiegelglas, Tomer Michaeli,
• Abstract要約: 事前訓練されたテキスト・トゥ・イメージ(T2I)拡散/フローモデルを用いて実際の画像を編集する場合、しばしば画像が対応するノイズマップに逆転する。 本稿では、インバージョンフリー、最適化フリー、モデル非依存のT2Iフローモデルのテキストベースの編集方法であるFlowEditを紹介する。
• 参考スコア（独自算出の注目度）: 20.46531356084352
• License:
• Abstract: Editing real images using a pre-trained text-to-image (T2I) diffusion/flow model often involves inverting the image into its corresponding noise map. However, inversion by itself is typically insufficient for obtaining satisfactory results, and therefore many methods additionally intervene in the sampling process. Such methods achieve improved results but are not seamlessly transferable between model architectures. Here, we introduce FlowEdit, a text-based editing method for pre-trained T2I flow models, which is inversion-free, optimization-free and model agnostic. Our method constructs an ODE that directly maps between the source and target distributions (corresponding to the source and target text prompts) and achieves a lower transport cost than the inversion approach. This leads to state-of-the-art results, as we illustrate with Stable Diffusion 3 and FLUX. Code and examples are available on the project's webpage.
• Abstract（参考訳）: 事前訓練されたテキスト・トゥ・イメージ(T2I)拡散/フローモデルを用いて実際の画像を編集する場合、しばしば画像が対応するノイズマップに反転する。 しかし、インバージョン自体は典型的には十分な結果を得るには不十分であるため、サンプリングプロセスにはさらに多くの手法が介入する。 このような手法は改善された結果を得るが、モデルアーキテクチャ間でシームレスに転送することはできない。 本稿では、インバージョンフリー、最適化フリー、モデル非依存のT2Iフローモデルのテキストベースの編集方法であるFlowEditを紹介する。 提案手法は,ソースとターゲットの分布を直接マッピングし(ソースとターゲットのテキストプロンプトに対応する),インバージョン手法よりも低い転送コストを実現するODEを構築する。 これは、Stable Diffusion 3とFLUXで示すように、最先端の結果につながります。 コードとサンプルはプロジェクトのWebページで公開されている。

関連論文リスト

• Generalizable Origin Identification for Text-Guided Image-to-Image Diffusion Models [39.234894330025114]
  テキストインプロンプトに基づく画像の翻訳において,テキスト誘導画像から画像への拡散モデルが優れている。 これは、テキスト誘導画像-画像拡散モデル(ID$2$)の原点識別タスクの導入を動機付けます。 ID$2$の直接的な解決策は、クエリと参照イメージの両方から機能を抽出し比較するために、特別なディープ埋め込みモデルをトレーニングすることである。
  論文  参考訳（メタデータ） (2025-01-04T20:34:53Z)
• Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
  拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。 最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。 画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。 次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:51Z)
• Taming Rectified Flow for Inversion and Editing [57.3742655030493]
  FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野で優れた性能を発揮している。 その堅牢な生成能力にもかかわらず、これらのモデルは不正確さに悩まされることが多い。 本研究では,修正流の逆流過程における誤差を軽減し,インバージョン精度を効果的に向上する訓練自由サンプリング器RF-rを提案する。
  論文  参考訳（メタデータ） (2024-11-07T14:29:02Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Semantic Image Inversion and Editing using Rectified Stochastic Differential Equations [41.87051958934507]
  本稿では, (i) 逆転と (ii) 修正フローモデル(Flux など)を用いた実画像の編集という2つの重要な課題に対処する。 本手法は,ゼロショット・インバージョン・編集における最先端性能を実現し,ストローク・ツー・イメージ合成やセマンティック・イメージ編集における先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-14T17:56:24Z)
• TurboEdit: Text-Based Image Editing Using Few-Step Diffusion Models [53.757752110493215]
  テキストベースの一般的な編集フレームワーク – 編集フレンドリーなDDPM-noiseインバージョンアプローチ – に注目します。 高速サンプリング法への適用を解析し、その失敗を視覚的アーティファクトの出現と編集強度の不足という2つのクラスに分類する。 そこで我々は,新しいアーティファクトを導入することなく,効率よく編集の規模を拡大する疑似誘導手法を提案する。
  論文  参考訳（メタデータ） (2024-08-01T17:27:28Z)
• Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing [2.5602836891933074]
  実際の画像を編集するための一般的な戦略は、拡散過程を反転させて元の画像のノイズ表現を得る。 拡散反転の現在の方法は、しばしば特定のテキストプロンプトに忠実で、ソースイメージによく似ている編集を生成するのに苦労する。 本稿では, DDIMサンプリング式における$eta$の役割を理論的に解析し, 編集性の向上を図った, 実画像編集のための新規かつ適応的な拡散インバージョン手法を提案する。
  論文  参考訳（メタデータ） (2024-03-14T15:07:36Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Improving Diffusion-based Image Translation using Asymmetric Gradient Guidance [51.188396199083336]
  非対称勾配法の適用により拡散サンプリングの逆過程を導出する手法を提案する。 我々のモデルの適応性は、画像融合モデルと潜時拡散モデルの両方で実装できる。 実験により,本手法は画像翻訳タスクにおいて,様々な最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-07T12:56:56Z)
• Eliminating Contextual Prior Bias for Semantic Image Editing via Dual-Cycle Diffusion [35.95513392917737]
  Dual-Cycle Diffusionと呼ばれる新しいアプローチは、画像編集をガイドするアンバイアスマスクを生成する。 提案手法の有効性を実証し,D-CLIPスコアを0.272から0.283に改善した。
  論文  参考訳（メタデータ） (2023-02-05T14:30:22Z)
• Null-text Inversion for Editing Real Images using Guided Diffusion Models [44.27570654402436]
  精度の高い逆変換手法を導入し、直感的なテキストベースの画像修正を容易にする。 我々のNull-textインバージョンは、公開されている安定拡散モデルに基づいて、様々な画像に対して広範囲に評価し、迅速な編集を行う。
  論文  参考訳（メタデータ） (2022-11-17T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。