論文の概要: Training-Free Text-Guided Image Editing with Visual Autoregressive Model

• arxiv url: http://arxiv.org/abs/2503.23897v1
• Date: Mon, 31 Mar 2025 09:46:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:38:23.845730
• Title: Training-Free Text-Guided Image Editing with Visual Autoregressive Model
• Title（参考訳）: 視覚的自己回帰モデルを用いた学習自由テキストガイド画像編集
• Authors: Yufei Wang, Lanqing Guo, Zhihao Li, Jiaxing Huang, Pichao Wang, Bihan Wen, Jian Wang,
• Abstract要約: 本稿では,Visual AutoRegressive モデリングに基づく新しいテキスト誘導画像編集フレームワークを提案する。 本手法は, 正確かつ制御された修正を確実にしながら, 明示的な逆変換の必要性を解消する。 我々のフレームワークは、トレーニング不要な方法で動作し、高速な推論速度で高忠実度編集を実現する。
• 参考スコア（独自算出の注目度）: 46.201510044410995
• License:
• Abstract: Text-guided image editing is an essential task that enables users to modify images through natural language descriptions. Recent advances in diffusion models and rectified flows have significantly improved editing quality, primarily relying on inversion techniques to extract structured noise from input images. However, inaccuracies in inversion can propagate errors, leading to unintended modifications and compromising fidelity. Moreover, even with perfect inversion, the entanglement between textual prompts and image features often results in global changes when only local edits are intended. To address these challenges, we propose a novel text-guided image editing framework based on VAR (Visual AutoRegressive modeling), which eliminates the need for explicit inversion while ensuring precise and controlled modifications. Our method introduces a caching mechanism that stores token indices and probability distributions from the original image, capturing the relationship between the source prompt and the image. Using this cache, we design an adaptive fine-grained masking strategy that dynamically identifies and constrains modifications to relevant regions, preventing unintended changes. A token reassembling approach further refines the editing process, enhancing diversity, fidelity, and control. Our framework operates in a training-free manner and achieves high-fidelity editing with faster inference speeds, processing a 1K resolution image in as fast as 1.2 seconds. Extensive experiments demonstrate that our method achieves performance comparable to, or even surpassing, existing diffusion- and rectified flow-based approaches in both quantitative metrics and visual quality. The code will be released.
• Abstract（参考訳）: テキスト誘導画像編集は、自然言語による画像の修正を可能にする重要なタスクである。 拡散モデルと整流流の最近の進歩は編集品質を著しく改善し、主に入力画像から構造ノイズを抽出するインバージョン技術に依存している。 しかし、逆転の不正確さは誤りを伝播させ、意図しない修正や忠実さを損なう。 さらに、完全な逆転であっても、テキストプロンプトと画像特徴の絡み合いは、ローカル編集のみを意図した場合に、大域的な変化をもたらすことが多い。 これらの課題に対処するために,VAR(Visual AutoRegressive Modeling)に基づく新しいテキスト誘導画像編集フレームワークを提案する。 本手法では,元の画像からトークンのインデックスと確率分布を格納し,ソースプロンプトと画像の関係をキャプチャするキャッシング機構を導入する。 このキャッシュを用いて、適応的なきめ細かいマスキング戦略を設計し、関連する領域への変更を動的に識別し、制約し、意図しない変更を防止する。 トークンの再組み立てアプローチにより、編集プロセスはさらに洗練され、多様性、忠実性、コントロールが向上する。 本フレームワークはトレーニング不要で高速な推論速度で高忠実度編集を実現し、1K解像度画像を1.2秒で処理する。 大規模な実験により,本手法は,定量的な測定値と視覚的品質の両方において,既存の拡散・修正フローベースアプローチに匹敵する,あるいは超越する性能を達成できることを示した。 コードはリリースされます。

関連論文リスト

• Lost in Edits? A $λ$-Compass for AIGC Provenance [119.95562081325552]
  本稿では,実測出力と操作された出力を頑健に識別し,識別する新しい潜在空間属性法を提案する。 LambdaTracerは、InstructPix2Pixのようなテキスト誘導編集ツールによって自動化されるか、Adobe Photoshopのような編集ソフトウェアで手動で実行されるか、様々な反復編集プロセスで有効である。
  論文  参考訳（メタデータ） (2025-02-05T06:24:25Z)
• Uniform Attention Maps: Boosting Image Fidelity in Reconstruction and Editing [66.48853049746123]
  構造的視点から再構築を解析し、従来の横断的注意を一様注意マップに置き換える新しいアプローチを提案する。 本手法は,ノイズ予測時のテキスト条件の変化による歪みを効果的に抑制する。 実験結果から,本手法は高忠実度画像再構成に優れるだけでなく,実際の画像合成や編集のシナリオにも頑健に機能することが示された。
  論文  参考訳（メタデータ） (2024-11-29T12:11:28Z)
• Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning-Free Real Image Editing [42.73883397041092]
  本稿では,誘導機構による拡散サンプリングプロセスの修正に基づく新しい手法を提案する。 本研究では,入力画像の全体構造を保存するための自己誘導手法について検討する。 本稿では,人間の評価と定量的分析を通じて,提案手法が望ましい編集を可能にすることを示す。
  論文  参考訳（メタデータ） (2024-09-02T15:21:46Z)
• Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing [60.730661748555214]
  textbfTask-textbfOriented textbfDiffusion textbfInversion (textbfTODInv) は、特定の編集タスクに適した実際の画像を反転して編集する新しいフレームワークである。 ToDInvは相互最適化によってインバージョンと編集をシームレスに統合し、高い忠実さと正確な編集性を保証する。
  論文  参考訳（メタデータ） (2024-08-23T22:16:34Z)
• TurboEdit: Text-Based Image Editing Using Few-Step Diffusion Models [53.757752110493215]
  テキストベースの一般的な編集フレームワーク – 編集フレンドリーなDDPM-noiseインバージョンアプローチ – に注目します。 高速サンプリング法への適用を解析し、その失敗を視覚的アーティファクトの出現と編集強度の不足という2つのクラスに分類する。 そこで我々は,新しいアーティファクトを導入することなく,効率よく編集の規模を拡大する疑似誘導手法を提案する。
  論文  参考訳（メタデータ） (2024-08-01T17:27:28Z)
• Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing [2.5602836891933074]
  実際の画像を編集するための一般的な戦略は、拡散過程を反転させて元の画像のノイズ表現を得る。 拡散反転の現在の方法は、しばしば特定のテキストプロンプトに忠実で、ソースイメージによく似ている編集を生成するのに苦労する。 本稿では, DDIMサンプリング式における$eta$の役割を理論的に解析し, 編集性の向上を図った, 実画像編集のための新規かつ適応的な拡散インバージョン手法を提案する。
  論文  参考訳（メタデータ） (2024-03-14T15:07:36Z)
• BARET : Balanced Attention based Real image Editing driven by Target-text Inversion [36.59406959595952]
  本研究では, 微調整拡散モデルを用いずに, 非剛性編集を含む様々な編集タイプに対して, 入力画像とターゲットテキストのみを必要とする新しい編集手法を提案する。 I)ターゲットテキストインバージョン・スケジュール(TTIS)は、画像キャプションや収束の加速なしに高速な画像再構成を実現するために、入力対象のテキスト埋め込みを微調整するように設計されている; (II)プログレッシブ・トランジション・スキームは、ターゲットのテキスト埋め込みとその微調整バージョンの間の進行線形アプローチを適用し、非剛性編集能力を維持するための遷移埋め込みを生成する; (III) バランスド・アテンション・モジュール(BAM)は、テキスト記述と画像意味論のトレードオフをバランスさせる。
  論文  参考訳（メタデータ） (2023-12-09T07:18:23Z)
• ReGeneration Learning of Diffusion Models with Rich Prompts for Zero-Shot Image Translation [8.803251014279502]
  大規模なテキスト・ツー・イメージモデルは、多彩で高忠実な画像を合成する素晴らしい能力を示した。 現在のモデルでは、編集プロセス中に元の画像の内容に大きな変更を加えることができる。 画像と画像の拡散モデル(ReDiffuser)における再生学習を提案する。
  論文  参考訳（メタデータ） (2023-05-08T12:08:12Z)
• Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models [6.34777393532937]
  本稿では,テキスト駆動画像編集のための高精度かつ高速な変換手法であるPrompt Tuning Inversionを提案する。 提案手法は再構築段階と編集段階から構成される。 ImageNetの実験は、最先端のベースラインと比較して、我々の手法の編集性能が優れていることを実証している。
  論文  参考訳（メタデータ） (2023-05-08T03:34:33Z)
• Zero-shot Image-to-Image Translation [57.46189236379433]
  手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。 本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。 本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
  論文  参考訳（メタデータ） (2023-02-06T18:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。