論文の概要: Doubly Abductive Counterfactual Inference for Text-based Image Editing
- arxiv url: http://arxiv.org/abs/2403.02981v2
- Date: Tue, 26 Mar 2024 02:39:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 21:44:06.939161
- Title: Doubly Abductive Counterfactual Inference for Text-based Image Editing
- Title(参考訳): テキストベース画像編集における2つの帰納的逆推定法
- Authors: Xue Song, Jiequan Cui, Hanwang Zhang, Jingjing Chen, Richang Hong, Yu-Gang Jiang,
- Abstract要約: 本稿では,1つの画像のテキストベースの画像編集(TBIE)について,反事実推論を用いて検討する。
本稿では,DAC(Dububly Abductive Counterfactual Inference framework)を提案する。
我々のDACは編集性と忠実さのトレードオフをうまく達成しています。
- 参考スコア(独自算出の注目度): 130.46583155383735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study text-based image editing (TBIE) of a single image by counterfactual inference because it is an elegant formulation to precisely address the requirement: the edited image should retain the fidelity of the original one. Through the lens of the formulation, we find that the crux of TBIE is that existing techniques hardly achieve a good trade-off between editability and fidelity, mainly due to the overfitting of the single-image fine-tuning. To this end, we propose a Doubly Abductive Counterfactual inference framework (DAC). We first parameterize an exogenous variable as a UNet LoRA, whose abduction can encode all the image details. Second, we abduct another exogenous variable parameterized by a text encoder LoRA, which recovers the lost editability caused by the overfitted first abduction. Thanks to the second abduction, which exclusively encodes the visual transition from post-edit to pre-edit, its inversion -- subtracting the LoRA -- effectively reverts pre-edit back to post-edit, thereby accomplishing the edit. Through extensive experiments, our DAC achieves a good trade-off between editability and fidelity. Thus, we can support a wide spectrum of user editing intents, including addition, removal, manipulation, replacement, style transfer, and facial change, which are extensively validated in both qualitative and quantitative evaluations. Codes are in https://github.com/xuesong39/DAC.
- Abstract(参考訳): 本稿では,テキストベースの画像編集(TBIE)について,その要求に正確に対処するためのエレガントな定式化であるため,反実的推論により検討する。
定式化のレンズを通して、TBIEの要点は、既存の技術が編集性と忠実性の間の良好なトレードオフを達成できないことである。
そこで本稿では,DAC(Doubly Abductive Counterfactual Inference framework)を提案する。
まず、外因性変数をUNet LoRAとしてパラメータ化し、すべての画像の詳細をオークションでエンコードする。
第2に、テキストエンコーダLoRAによってパラメータ化された別の外因性変数を退避させ、これは、過度に適合した第1の退避による、失われた編集性を取り戻す。
後編集から前編集への視覚的移行を排他的にエンコードした第2の誘拐のおかげで、その反転 -- LoRAを減じる -- は事実上、前編集を後編集に戻し、編集を完了させる。
我々のDACは広範な実験を通じて、編集可能性と忠実さのトレードオフを実現している。
したがって, 付加, 削除, 操作, 交換, スタイルの移動, 顔の変化など, ユーザ編集の意図を幅広くサポートすることができ, 質的, 定量的評価の両面で広く検証されている。
コードはhttps://github.com/xuesong39/DACにある。
関連論文リスト
- Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing [2.5602836891933074]
実際の画像を編集するための一般的な戦略は、拡散過程を反転させて元の画像のノイズ表現を得る。
本稿では, DDIMサンプリング式における$eta$の役割を理論的に解析し, 編集性の向上を図った, 実画像編集のための新規かつ適応的な拡散インバージョン手法を提案する。
論文 参考訳(メタデータ) (2024-03-14T15:07:36Z) - DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image
Editing [66.43179841884098]
大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。
既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。
本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
論文 参考訳(メタデータ) (2024-02-04T18:50:29Z) - Spatial-Contextual Discrepancy Information Compensation for GAN
Inversion [67.21442893265973]
空間的不一致情報補償に基づく新しいGAN-inversion法(SDIC)を提案する。
SDICは、オリジナルの画像と再構成/編集された画像との間の画像詳細のギャップを埋める。
提案手法は,画像インバージョンと編集作業の両方において,高速な推論速度で優れた歪み適応性トレードオフを実現する。
論文 参考訳(メタデータ) (2023-12-12T08:58:56Z) - Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。
画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。
本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-10-18T17:59:02Z) - Forgedit: Text Guided Image Editing via Learning and Forgetting [17.26772361532044]
我々は Forgedit という新しいテキスト誘導画像編集手法を設計する。
まず,30秒で元の画像を再構成できる視覚言語共同最適化フレームワークを提案する。
次に,拡散モデルのテキスト埋め込み空間におけるベクトル投影機構を提案する。
論文 参考訳(メタデータ) (2023-09-19T12:05:26Z) - Zero-shot Image-to-Image Translation [57.46189236379433]
手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。
本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。
本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
論文 参考訳(メタデータ) (2023-02-06T18:59:51Z) - Eliminating Contextual Prior Bias for Semantic Image Editing via
Dual-Cycle Diffusion [35.95513392917737]
Dual-Cycle Diffusionと呼ばれる新しいアプローチは、画像編集をガイドするアンバイアスマスクを生成する。
提案手法の有効性を実証し,D-CLIPスコアを0.272から0.283に改善した。
論文 参考訳(メタデータ) (2023-02-05T14:30:22Z) - Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。
生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。
また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
論文 参考訳(メタデータ) (2022-07-17T10:34:58Z) - High-Fidelity GAN Inversion for Image Attribute Editing [44.54180180869355]
本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。
高忠実度編集を実現するために,自己教師付きトレーニングスキームを用いた適応歪みアライメント(ADA)モジュールを提案する。
論文 参考訳(メタデータ) (2021-09-14T11:23:48Z) - From Continuity to Editability: Inverting GANs with Consecutive Images [37.16137384683823]
既存の GAN の逆変換法は、逆符号が高忠実度再構成を達成できるか、編集能力を維持することができるというパラドックスに固定されている。
本稿では,この逆転過程に連続した画像を導入することで,このパラドックスを解消する。
本手法は,ビデオベースGAN変換の最初のサポートを提供し,連続画像からの教師なしセマンティックトランスファーの興味深い応用を提供する。
論文 参考訳(メタデータ) (2021-07-29T08:19:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。