論文の概要: MDP: A Generalized Framework for Text-Guided Image Editing by
Manipulating the Diffusion Path
- arxiv url: http://arxiv.org/abs/2303.16765v2
- Date: Thu, 30 Mar 2023 11:42:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 15:51:12.779722
- Title: MDP: A Generalized Framework for Text-Guided Image Editing by
Manipulating the Diffusion Path
- Title（参考訳）: MDP:拡散経路の操作によるテキストガイド画像編集のための汎用フレームワーク
- Authors: Qian Wang, Biao Zhang, Michael Birsak, Peter Wonka
- Abstract要約: 我々は,適切な操作を行うための設計空間を記述したMDPというフレームワークを提案する。
我々は,中間潜伏,条件埋め込み,クロスアテンションマップ,ガイダンス,予測ノイズを含む5つの異なる操作を同定する。
- 参考スコア（独自算出の注目度）: 46.88926203020054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image generation using diffusion can be controlled in multiple ways. In this
paper, we systematically analyze the equations of modern generative diffusion
networks to propose a framework, called MDP, that explains the design space of
suitable manipulations. We identify 5 different manipulations, including
intermediate latent, conditional embedding, cross attention maps, guidance, and
predicted noise. We analyze the corresponding parameters of these manipulations
and the manipulation schedule. We show that some previous editing methods fit
nicely into our framework. Particularly, we identified one specific
configuration as a new type of control by manipulating the predicted noise,
which can perform higher-quality edits than previous work for a variety of
local and global edits.
- Abstract（参考訳）: 拡散を利用した画像生成は複数の方法で制御できる。
本稿では,現代的な生成拡散ネットワークの方程式を体系的に解析し,適切な操作の設計空間を説明するmdpと呼ばれる枠組みを提案する。
我々は,中間潜伏,条件埋め込み,クロスアテンションマップ,ガイダンス,予測ノイズを含む5つの異なる操作を同定する。
これらの操作の対応するパラメータと操作スケジュールを解析する。
従来の編集手法が私たちのフレームワークにうまく適合していることを示します。
特に,予測ノイズを操作することで,従来よりも高品質な編集を行うことができる新しいタイプの制御方法として,特定の構成を同定した。
関連論文リスト
- PartEdit: Fine-Grained Image Editing using Pre-Trained Diffusion Models [80.98455219375862]
本稿では,事前学習した拡散モデルに基づくオブジェクト部品に対する最初のテキストベースの画像編集手法を提案する。
提案手法は, 利用者の77～90%に好まれる。
論文 参考訳（メタデータ） (2025-02-06T13:08:43Z) - Edicho: Consistent Image Editing in the Wild [90.42395533938915]
エディコは拡散モデルに基づく訓練なしの解を踏む。
これは、明示的な画像対応を使って直接編集する基本的な設計原理を特徴としている。
論文 参考訳（メタデータ） (2024-12-30T16:56:44Z) - EditScout: Locating Forged Regions from Diffusion-based Edited Images with Multimodal LLM [50.054404519821745]
本稿では,多モーダル大規模言語モデルを統合した新しいフレームワークを提案する。
我々のフレームワークはMagicBrush、AutoSplice、PerfBrushデータセットの有望な結果を達成する。
特に,本手法は,これまで目に見えなかった種類の編集を特徴とする自己構築型テストセットであるPerfBrushデータセットを最適化する。
論文 参考訳（メタデータ） (2024-12-05T02:05:33Z) - TurboEdit: Text-Based Image Editing Using Few-Step Diffusion Models [53.757752110493215]
テキストベースの一般的な編集フレームワーク – 編集フレンドリーなDDPM-noiseインバージョンアプローチ – に注目します。
高速サンプリング法への適用を解析し、その失敗を視覚的アーティファクトの出現と編集強度の不足という2つのクラスに分類する。
そこで我々は,新しいアーティファクトを導入することなく,効率よく編集の規模を拡大する疑似誘導手法を提案する。
論文 参考訳（メタデータ） (2024-08-01T17:27:28Z) - Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing [2.5602836891933074]
実際の画像を編集するための一般的な戦略は、拡散過程を反転させて元の画像のノイズ表現を得る。
拡散反転の現在の方法は、しばしば特定のテキストプロンプトに忠実で、ソースイメージによく似ている編集を生成するのに苦労する。
本稿では, DDIMサンプリング式における$eta$の役割を理論的に解析し, 編集性の向上を図った, 実画像編集のための新規かつ適応的な拡散インバージョン手法を提案する。
論文 参考訳（メタデータ） (2024-03-14T15:07:36Z) - Diffusion Model-Based Image Editing: A Survey [46.244266782108234]
様々な画像生成や編集作業のための強力なツールとして,拡散モデルが登場している。
本稿では,画像編集のための拡散モデルを用いた既存手法の概要について述べる。
テキスト誘導画像編集アルゴリズムの性能を更に評価するために,系統的なベンチマークであるEditEvalを提案する。
論文 参考訳（メタデータ） (2024-02-27T14:07:09Z) - Textual and Visual Prompt Fusion for Image Editing via Step-Wise Alignment [10.82748329166797]
本研究では,生成した視覚的参照とテキストガイダンスを融合したフレームワークを提案する。
私たちのフレームワークは、小さなニューラルネットワークのみを使用して、テキストプロンプトによって直感的に駆動される多様なコンテンツや属性を制御する。
論文 参考訳（メタデータ） (2023-08-30T08:40:15Z) - Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。
本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
論文 参考訳（メタデータ） (2020-11-24T02:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。