論文の概要: Exploring Optimal Latent Trajetory for Zero-shot Image Editing

• arxiv url: http://arxiv.org/abs/2501.03631v1
• Date: Tue, 07 Jan 2025 09:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:49:31.394422
• Title: Exploring Optimal Latent Trajetory for Zero-shot Image Editing
• Title（参考訳）: ゼロショット画像編集のための最適遅延軌道探索
• Authors: Maomao Li, Yu Li, Yunfei Liu, Dong Xu,
• Abstract要約: 我々は、ほぼすべての構造的忠実性を失ったため、ガウス近辺のノイズをさらなる編集の要点として使うのは良い選択ではないと論じる。 本稿では,ZZEditという新しい編集パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 38.7483790652481
• License:
• Abstract: Editability and fidelity are two essential demands for text-driven image editing, which expects that the editing area should align with the target prompt and the rest should remain unchanged separately. The current cutting-edge editing methods usually obey an "inversion-then-editing" pipeline, where the source image is first inverted to an approximate Gaussian noise ${z}_T$, based on which a sampling process is conducted using the target prompt. Nevertheless, we argue that it is not a good choice to use a near-Gaussian noise as a pivot for further editing since it almost lost all structure fidelity. We verify this by a pilot experiment, discovering that some intermediate-inverted latents can achieve a better trade-off between editability and fidelity than the fully-inverted ${z}_T$. Based on this, we propose a novel editing paradigm dubbed ZZEdit, which gentlely strengthens the target guidance on a sufficient-for-editing while structure-preserving latent. Specifically, we locate such an editing pivot by searching the first point on the inversion trajectory which has larger response levels toward the target prompt than the source one. Then, we propose a ZigZag process to perform mild target guiding on this pivot, which fulfills denoising and inversion iteratively, approaching the target while still holding fidelity. Afterwards, to achieve the same number of inversion and denoising steps, we perform a pure sampling process under the target prompt. Extensive experiments highlight the effectiveness of our ZZEdit in diverse image editing scenarios compared with the "inversion-then-editing" pipeline.
• Abstract（参考訳）: 編集性と忠実性はテキスト駆動の画像編集に必須の2つの要件であり、編集領域はターゲットのプロンプトと一致すべきであり、残りは別途変更されなければならないと期待されている。 現在の最先端編集法は、通常「反転編集」パイプラインに従っており、ソース画像はまずターゲットプロンプトを用いてサンプリングプロセスを実行するガウスノイズ${z}_T$に逆変換される。 それでも我々は、ほぼすべての構造的忠実性を失ったため、ガウス近傍のノイズをさらなる編集の要点として使うのは良い選択ではないと論じている。 我々はこれをパイロット実験で検証し、一部の中間反転潜水剤が完全反転の${z}_T$よりも編集可能性と忠実さのトレードオフを得られることを発見した。 そこで本研究では,ZZEditという新たな編集パラダイムを提案する。 具体的には、ソースよりもターゲットへの応答レベルが大きい逆軌道上の第1点を探索することで、そのような編集のピボットを見つける。 そこで本研究では,このピボットを軽度に誘導するZigZagプロセスを提案する。 その後、インバージョンとデノベーションステップの同一数を達成するために、ターゲットプロンプトの下で純粋なサンプリング処理を行う。 大規模な実験では、さまざまな画像編集シナリオにおけるZZEditの有効性が、"インバージョン・then-editing"パイプラインと比較して強調されている。

関連論文リスト

• TurboEdit: Text-Based Image Editing Using Few-Step Diffusion Models [53.757752110493215]
  テキストベースの一般的な編集フレームワーク – 編集フレンドリーなDDPM-noiseインバージョンアプローチ – に注目します。 高速サンプリング法への適用を解析し、その失敗を視覚的アーティファクトの出現と編集強度の不足という2つのクラスに分類する。 そこで我々は,新しいアーティファクトを導入することなく,効率よく編集の規模を拡大する疑似誘導手法を提案する。
  論文  参考訳（メタデータ） (2024-08-01T17:27:28Z)
• Zero-Shot Video Editing through Adaptive Sliding Score Distillation [51.57440923362033]
  本研究は,オリジナルビデオコンテンツの直接操作を容易にする,ビデオベースのスコア蒸留の新たなパラダイムを提案する。 本稿では,グローバルとローカルの両方の動画ガイダンスを取り入れた適応スライディングスコア蒸留方式を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:33:59Z)
• Source Prompt Disentangled Inversion for Boosting Image Editability with Diffusion Models [18.75409092764653]
  テキスト駆動画像編集における重要なステップの1つは、元の画像をソースプロンプトに条件付き遅延ノイズコードに変換することである。 本稿では、ソースプロンプトの影響を低減することを目的とした、SPDInv(Source Prompt Disentangled Inversion)と呼ばれる新しい手法を提案する。 実験の結果,提案手法はターゲット編集プロンプトとソースプロンプトの衝突を効果的に軽減できることがわかった。
  論文  参考訳（メタデータ） (2024-03-17T06:19:30Z)
• Tuning-Free Inversion-Enhanced Control for Consistent Image Editing [44.311286151669464]
  我々は、チューニング不要なインバージョン強化制御(TIC)と呼ばれる新しいアプローチを提案する。 TICは、インバージョンプロセスとサンプリングプロセスの特徴を相関付け、DDIM再構成の不整合を軽減する。 また、インバージョンと単純なDDIM編集プロセスの両方の内容を組み合わせたマスク誘導型アテンション結合戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-22T11:13:22Z)
• Inversion-Free Image Editing with Natural Language [18.373145158518135]
  InfEdit(Inversion-free editing)は、厳密な意味的変化と非厳密な意味的変化の両面において、一貫性と忠実な編集を可能にする。 InfEditは、様々な編集タスクで強力なパフォーマンスを示し、また、1つのA40で3秒以内のシームレスなワークフローを維持し、リアルタイムアプリケーションの可能性を示している。
  論文  参考訳（メタデータ） (2023-12-07T18:58:27Z)
• Customize your NeRF: Adaptive Source Driven 3D Scene Editing via Local-Global Iterative Training [61.984277261016146]
  テキスト記述や参照画像を編集プロンプトとして統合するCustomNeRFモデルを提案する。 最初の課題に取り組むために,前景領域編集とフルイメージ編集を交互に行うローカル・グローバル反復編集(LGIE)トレーニング手法を提案する。 第2の課題として、生成モデル内のクラス事前を利用して、一貫性の問題を緩和するクラス誘導正規化を設計する。
  論文  参考訳（メタデータ） (2023-12-04T06:25:06Z)
• Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
  オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。 画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。 本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-18T17:59:02Z)
• High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
  本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。 低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。 高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。