論文の概要: QK-Edit: Revisiting Attention-based Injection in MM-DiT for Image and Video Editing

• arxiv url: http://arxiv.org/abs/2610.17829v1
• Date: Tue, 13 Oct 2026 06:49:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.537292
• Title: QK-Edit: Revisiting Attention-based Injection in MM-DiT for Image and Video Editing
• Title（参考訳）: QK-Edit:画像編集とビデオ編集のためのMM-DiTにおける注意に基づく注入の再検討
• Abstract要約: マルチモーダル拡散変換器(MM-DiT)は,最近,統一テキストビジョンのための強力なフレームワークとして登場した。 QK-Editは、MM-DiTのユニークな注意力を利用して、正確なテキスト誘導画像とビデオ編集を行う、トレーニングフリーのフレームワークである。
• 参考スコア（独自算出の注目度）: 116.74514612284229
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Diffusion Transformers (MM-DiTs) have recently emerged as a powerful framework for unified text-vision synthesis, surpassing traditional U-Net architectures in generative tasks. One key innovation lies in its Multimodal Self-Attention (MM-SA) interaction, where image and text tokens are concatenated and processed via self-attention. However, this mechanism poses significant challenges for editing, rendering conventional U-Net-based attention manipulation methods ineffective. To address this limitation, we propose QK-Edit, a training-free framework that exploits the unique attention dynamics of MM-DiTs for precise text-guided image and video editing. By introducing a novel query-key manipulation strategy, our method isolates and adjusts critical attention components to achieve an optimal balance between prompt fidelity and structural consistency. This enables seamless edits across various tasks, including object addition, object removal, object replacement, changing background, changing material, changing color, and style transformation. Notably, it can be easily implemented with feature replacement in inference. QK-Edit demonstrates superior editing performance on state-of-the-art models, such as FLUX and HunyuanVideo, effectively bridging the gap between generative power and editable flexibility in MM-DiTs, and paving the way for scalable multimodal content creation.
• Abstract（参考訳）: MM-DiT(Multimodal Diffusion Transformer)は, 従来のU-Netアーキテクチャを超越した, テキストビジョン合成のための強力なフレームワークとして最近登場した。 重要なイノベーションの1つは、画像とテキストトークンが自己組織化され、自己アテンションによって処理される、Multimodal Self-Attention (MM-SA)インタラクションである。 しかし、このメカニズムは従来のU-Netベースのアテンション操作手法を非効率に編集し、レンダリングする上で大きな課題となる。 この制限に対処するために,MM-DiTのユニークな注意力を利用したトレーニング不要のフレームワークであるQK-Editを提案する。 新たなクエリキー操作戦略を導入することで,重要な注意要素を分離・調整し,迅速な忠実度と構造整合性の最適バランスを実現する。 これにより、オブジェクトの追加、オブジェクトの削除、オブジェクトの置換、背景の変更、素材の変更、色の変更、スタイル変換など、さまざまなタスクをシームレスに編集できる。 特に、機能置換を推論で簡単に実装できる。 QK-EditはFLUXやHunyuanVideoのような最先端のモデルで優れた編集性能を示し、MM-DiTにおける生成パワーと編集可能な柔軟性のギャップを効果的に埋め、スケーラブルなマルチモーダルコンテンツ作成の道を開く。

関連論文リスト

• VINCIE-NExT: Unlocking Video Editing from Images via In-Context Modeling [67.29261369333067]
  画像からビデオへ編集機能を変換する統合フレームワークであるVINCIE-NExTを,テキスト内ビジュアルデモを通じて導入する。 画像編集対は、各出力フレームの空間的な外観ブループリントとして機能する、コンテキスト内視覚実証としてプリペアされる。 本研究では,空間座標系における画像のデモと映像フレームをリンクする新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2026-10-08T15:03:48Z)
• ConsistEdit: Highly Consistent and Precise Training-free Visual Editing [17.162316662697965]
  本稿では,MM-DiTに適した新しいアテンション制御手法であるConsistEditを提案する。 視覚のみの注意制御、マスク誘導型事前注意融合、クエリ、キー、バリュートークンの操作を区別する。 構造整合性および構造整合性の両方のシナリオを含む、幅広い画像およびビデオ編集タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-10-20T17:59:52Z)
• O-DisCo-Edit: Object Distortion Control for Unified Realistic Video Editing [88.93410369258203]
  O-DisCo-Editは、新しいオブジェクト歪み制御(O-DisCo)を組み込んだ統合フレームワークである この信号はランダムノイズと適応ノイズに基づいて、単一の表現内に幅広い編集キューを柔軟にカプセル化する。 O-DisCo-Editは、効果的なトレーニングパラダイムによる効率的な高忠実な編集を可能にする。
  論文  参考訳（メタデータ） (2025-09-01T16:29:39Z)
• Image Editing As Programs with Diffusion Models [69.05164729625052]
  本稿では,Diffusion Transformer (DiT) アーキテクチャ上に構築された統合画像編集フレームワークである IEAP (Image Editing As Programs) を紹介する。 IEAPは、複雑な編集命令を原子操作のシーケンスに分解して、リダミストレンズによる命令編集にアプローチする。 我々のフレームワークは、特に複雑なマルチステップ命令に対して、より優れた精度とセマンティック忠実度を提供する。
  論文  参考訳（メタデータ） (2025-06-04T16:57:24Z)
• MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation [55.101611012677616]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは,グローバルビデオ編集タスクにおいて顕著な結果を示した。 我々は、オープンドメインビデオ編集のための事前訓練されたT2Iモデル上に構築された、チューニング不要なMAEフレームワークであるMAKIMAを紹介する。
  論文  参考訳（メタデータ） (2024-12-28T02:36:51Z)
• Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing [60.730661748555214]
  textbfTask-textbfOriented textbfDiffusion textbfInversion (textbfTODInv) は、特定の編集タスクに適した実際の画像を反転して編集する新しいフレームワークである。 ToDInvは相互最適化によってインバージョンと編集をシームレスに統合し、高い忠実さと正確な編集性を保証する。
  論文  参考訳（メタデータ） (2024-08-23T22:16:34Z)
• MaskINT: Video Editing via Interpolative Non-autoregressive Masked Transformers [30.924202893340087]
  最先端のアプローチは主にこれらのタスクを達成するために拡散モデルに依存している。 本稿では,テキストベースのビデオ編集タスクを2段階に分割する。 まず、事前訓練されたテキスト・画像拡散モデルを用いて、ゼロショット方式で少数者を同時に編集する。 第2に,非自己回帰マスク生成変換器をベースとしたMaskINTという効率的なモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-19T07:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。