論文の概要: Semantically Aligned Gradient-Driven Context-Preserving Image Editing

• arxiv url: http://arxiv.org/abs/2609.12691v1
• Date: Fri, 11 Sep 2026 10:37:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.719289
• Title: Semantically Aligned Gradient-Driven Context-Preserving Image Editing
• Title（参考訳）: セマンティックアライメントによるグラディエント駆動型コンテキスト保存画像編集
• Abstract要約: IABEditは、識別可能なセマンティック検証をトレーニングに組み込む、モデルに依存しないフレームワークである。 IABEdit は U-Net (Stable Diffusion) や MMDiT (FLUX) など様々なバックボーンと互換性がある。
• 参考スコア（独自算出の注目度）: 32.85393969503569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-guided image editing has a training-time blind spot. Generative editors are never required to semantically verify whether their outputs actually satisfy the instruction. Supervision stops at reconstruction and input textual-level conditioning. This produces incomplete edits, spatial spillover, and poor localization. We present IABEdit, a model-agnostic framework that embeds differentiable semantic verification into training. A frozen vision-language model extracts spatially-aware descriptors from the ground-truth edit. A trainable aligner then reproduces them from the generated output. The residual between the two becomes a gradient that teaches the generator both what to edit and where, with no inference-time VLM cost. IABEdit is compatible with diverse backbones, including U-Net (Stable Diffusion) and MMDiT (FLUX), without altering their inference pipelines. On MagicBrush, it improves structural fidelity by +3.49 DINO-I over the best diffusion baseline and +1.26 over the best overall baseline, while remaining competitive on instruction alignment. It also achieves state-of-the-art instruction adherence performance on RealEdit and EMU Edit benchmarks based on embedding-based metrics. Most consequentially, on the D-LORD surveillance benchmark, it surpasses the proprietary Gemini agent by +5.13 DINO-P under heavy occlusion, where preserving identity is hardest. This shows that gradient-aligned VLM distillation holds up under real-world-like surveillance and occlusion conditions. Human and GPT-4o evaluations confirm perceptually precise, well-localized edits.
• Abstract（参考訳）: インストラクション誘導画像編集は、トレーニングタイムの盲点を持つ。 生成エディタは、その出力が実際に命令を満たすかどうかを意味的に検証する必要がない。 スーパービジョンは再構築と入力テキストレベルの条件付けで停止する。 これにより、不完全な編集、空間のこぼれ、ローカライゼーションが低下する。 IABEditは、識別可能なセマンティック検証をトレーニングに組み込む、モデルに依存しないフレームワークである。 凍結された視覚言語モデルは、接地真実編集から空間的に認識された記述子を抽出する。 トレーニング可能な整列器は、生成された出力からそれらを再生する。 2つの間の残差は、何の編集と場所の両方を教える勾配となり、推論時間VLMコストがかからない。 IABEditは、推論パイプラインを変更することなく、U-Net(Stable Diffusion)やMMDiT(FLUX)など様々なバックボーンと互換性がある。 MagicBrushでは、最高の拡散ベースラインで+3.49 DINO-I、最高のベースラインで+1.26、命令アライメントで競争力を維持する。 また、埋め込みベースのメトリクスに基づいてRealEditとEMU Editベンチマーク上で、最先端の命令アテンデンスパフォーマンスを実現する。 最も重要な点は、D-LORD監視ベンチマークにおいて、プロプライエタリなジェミニエージェントを+5.13 DINO-Pで上回り、アイデンティティの保存が最も困難である。 このことは, VLM蒸留が実世界の監視・閉塞条件下で維持されていることを示している。 人間とGPT-4oの評価は、知覚的に正確で、よく局在した編集を確認する。

関連論文リスト

• Multi-History-Step SDE Inversion for Image Editing with Superior Regional Awareness [48.14550823309452]
  MIEditは、SDEインバージョンに基づくトレーニング不要の編集フレームワークである。 MIEditは、より少ないステップでより優れた編集品質を達成するための予測器-相関型マルチヒストリー・ステップ・スキームを導入している。
  論文  参考訳（メタデータ） (2026-09-06T13:37:46Z)
• Reasoning to Align: Implicit Reasoning in Diffusion Transformers for Video Editing [55.211537893248675]
  本稿では,2つの補完コンポーネントを中心に構築された暗黙の推論ビデオ編集用DiTフレームワークであるRVEDiTを提案する。 RVEDiTは最先端のベースラインを一貫して上回り、特にローカライズされた編集や構成的な編集において大きな利益を得ている。
  論文  参考訳（メタデータ） (2026-05-23T17:22:14Z)
• CoEditor++: Instruction-based Visual Editing via Cognitive Reasoning [98.98349220451216]
  CoEditor++は、編集を"編集する方法"と"編集方法"に分解する、トレーニング不要のフレームワークである。 我々は,CoEditor++が編集タスクと編集タスクの両方において,最先端のパフォーマンスを実現することを示す。 以上の結果から,認知中心型画像編集の可能性が示唆された。
  論文  参考訳（メタデータ） (2026-01-31T12:20:46Z)
• RemEdit: Efficient Diffusion Editing with Riemannian Geometry [1.8594036119086927]
  RemEditは画像編集のための拡散ベースのフレームワークである。 忠実度を編集するためには、mmbaベースのモジュールとビジョンランゲージモデルからのゴール認識プロンプトエンリッチメントパスを使用する。 さらなる加速のために,タスク固有の注意喚起機構を導入する。 RemEditは従来の最先端の編集フレームワークを超え、50%のプルーニングでリアルタイムのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2026-01-25T17:58:57Z)
• Visual Autoregressive Modeling for Instruction-Guided Image Editing [97.04821896251681]
  画像編集を次世代の予測問題として再編成する視覚的自己回帰フレームワークを提案する。 VarEditは、正確な編集を実現するために、マルチスケールのターゲット機能を生成する。 1.2秒で512times512$編集を完了し、同じサイズのUltraEditよりも2.2$times$高速になった。
  論文  参考訳（メタデータ） (2025-08-21T17:59:32Z)
• UniEdit-I: Training-free Image Editing for Unified VLM via Iterative Understanding, Editing and Verifying [64.5307229755533]
  画像編集機能を備えた統合VLMを実現するために,UniEdit-Iという新しいトレーニングフリーフレームワークを導入する。 我々は最新のBLIP3-oに基づいて提案手法を実装し,GEdit-BenchベンチマークでSOTA(State-of-the-art)性能を達成した。
  論文  参考訳（メタデータ） (2025-08-05T06:42:09Z)
• FireEdit: Fine-grained Instruction-based Image Editing via Region-aware Vision Language Model [54.693572837423226]
  FireEditは、Region対応のVLMを利用する、革新的なインストラクションベースの画像編集フレームワークである。 FireEditは、ユーザの指示を正確に理解し、編集プロセスの効果的な制御を保証するように設計されている。 提案手法は,最先端の命令ベース画像編集手法を超越した手法である。
  論文  参考訳（メタデータ） (2025-03-25T16:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。