論文の概要: Mind the RefGAP: Correcting Reference Attention in Diffusion-Based Visual Editing
- arxiv url: http://arxiv.org/abs/2609.35708v1
- Date: Mon, 28 Sep 2026 17:44:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 19:30:49.887346
- Title: Mind the RefGAP: Correcting Reference Attention in Diffusion-Based Visual Editing
- Title(参考訳): RefGAPの考え方:拡散に基づくビジュアル編集における参照注意の修正
- Abstract要約: RefGAPはトレーニング不要の補正であり、前方通過で測定された基準アテンション質量から各層のロジットオフセットの大きさをオンラインで決定する。
7つの拡散ベースの画像/ビデオエディタで、RefGAPはヘッドスワップとフェイススワップにおけるアイデンティティの忠実度を改善する。
- 参考スコア(独自算出の注目度): 58.57757750251995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reference-guided diffusion editors struggle to faithfully reproduce user-provided references. We identify a potential bottleneck in diffusion editors: many methods provide limited reference-attention allocation. For example, in LoomVideo, edit-region queries assign less than 1% of their attention mass to the reference. We introduce RefGAP, a training-free correction that determines logit-offset magnitudes online at each layer from the reference-attention mass measured during the forward pass. Positive offsets to reference logits strengthen reference usage by edit-region queries, while negative offsets for keep-region queries limit reference-induced changes outside the edit. Two global coefficients control the correction; they are selected once on validation data from four development diffusion editors and held fixed. Across seven diffusion-based image/video editors, RefGAP improves identity fidelity in head swapping and face swapping. RefGAP achieves a fidelity-preservation trade-off comparable to separately tuned constant edit-side biases, without per-approach strength sweeps. Additional experiments on virtual try-on and background replacement evaluate transfer beyond identity editing.
- Abstract(参考訳): 参照誘導拡散エディタは、ユーザが提供する参照を忠実に再現するのに苦労する。
拡散エディターの潜在的なボトルネックを特定し、多くのメソッドが参照アテンションの割り当てを制限している。
例えば、LoomVideoでは、編集領域クエリが参照に対する注意質量の1%未満を割り当てている。
フォワードパスで測定された基準アテンション質量から各層におけるロジットオフセットの規模をオンラインで決定するトレーニング不要補正であるRefGAPを導入する。
参照ロジットに対する正のオフセットは、編集領域クエリによる参照使用量を強化し、一方、保持領域クエリに対する負のオフセットは、編集外の参照誘起変更を制限する。
2つの大域係数が補正を制御し、これらは4つの開発拡散エディタの検証データに基づいて一度選択され、固定される。
7つの拡散ベースの画像/ビデオエディタで、RefGAPはヘッドスワップとフェイススワップにおけるアイデンティティの忠実度を改善する。
RefGAPは、個別に調整された一定の編集側バイアスに匹敵する忠実な保存トレードオフを実現する。
仮想試行とバックグラウンド置換に関する追加実験は、アイデンティティ編集以外の転送を評価する。
関連論文リスト
- ManiEdit: Sequential Unstructured Knowledge Editing for Language Models from a Manifold Perspective [49.83428734814549]
既存のモデル編集手法は、構造化されていない長文の知識を逐次編集するのに苦労する。
ManiEditは、2つのコアコンポーネントからなる新しい多様体対応編集フレームワークである。
ManiEditは最先端のパフォーマンスを実現し、最強のベースラインである+27.81 BERTScoreと+8.50 ROUGE-Lを上回った。
論文 参考訳(メタデータ) (2026-09-27T13:02:43Z) - Refinement Is Inherently Editable: Training-Free Prompt-to-Prompt Image Editing with Generative Refinement Network [26.99661614820174]
RefineEditは、GRN(Generative Refinement Networks)上に構築されたトレーニングフリーのプロンプトとプロンプトの画像編集フレームワークである。
ビットルーティングと、適応的な空間凍結と有限ビットロックという2つの安定化メカニズムを組み合わせる。
PSNR、LPIPS、MSE、SSIMで最高のバックグラウンド保存スコアと、最も高い全画像と編集済みのCLIPスコアを達成している。
論文 参考訳(メタデータ) (2026-09-17T16:19:28Z) - Crayotter: Learning Long-Horizon Video Editing Agents via Group-Relative Preference Backpropagation [14.003463557395621]
Group-Relative Preference Backpropagationは、同じタスクのランクをゼロサムの利点に変換する。
本研究では,プロジェクト分離型,地平線階層化されたリアルな編集作業スイートを手作業で構築し,評価のトレーニングと制御を行う。
その結果、9B CrayotterモデルはAgenticVBench上のいくつかのプロプライエタリシステムを上回った。
論文 参考訳(メタデータ) (2026-08-03T10:41:25Z) - Orthogonal Representation Editing: Decoupling Semantic Entanglement in Batch Knowledge Editing of LLMs [38.268937785139855]
知識編集は、大規模な言語モデル(LLM)における事実情報を、完全なリトレーニングなしで効率的に更新することを目的としている。
既存の手法はまだバッチ知識編集のパフォーマンス低下に悩まされている。
LLMの隠れ表現空間で編集を行うOrthogonal Representation Editing (ORE)を提案する。
論文 参考訳(メタデータ) (2026-06-21T18:29:40Z) - Reasoning to Align: Implicit Reasoning in Diffusion Transformers for Video Editing [55.211537893248675]
本稿では,2つの補完コンポーネントを中心に構築された暗黙の推論ビデオ編集用DiTフレームワークであるRVEDiTを提案する。
RVEDiTは最先端のベースラインを一貫して上回り、特にローカライズされた編集や構成的な編集において大きな利益を得ている。
論文 参考訳(メタデータ) (2026-05-23T17:22:14Z) - MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。
我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。
MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
論文 参考訳(メタデータ) (2025-06-09T16:16:42Z) - REACT: Representation Extraction And Controllable Tuning to Overcome Overfitting in LLM Knowledge Editing [42.89229070245538]
本稿では,正確かつ制御可能な知識編集のためのフレームワークであるREACTを紹介する。
最初の段階では、調整された刺激を用いて、潜在的な事実表現を抽出する。
第2段階では,大小スカラーのベクトルを用いて,制御可能な摂動を隠蔽状態に適用する。
論文 参考訳(メタデータ) (2025-05-25T01:57:06Z) - Re-Attentional Controllable Video Diffusion Editing [48.052781838711994]
本稿では,Re-Attentional Controllable Video Diffusion Editing (ReAtCo)法を提案する。
対象物体の空間配置と編集されたテキストプロンプトを無訓練で整合させるために,再注意拡散(RAD)を提案する。
RADは、編集されたテキストプロンプトとデノナイジング段階のターゲットビデオとの間の相互注意活性化反応を再焦点化し、空間的に位置整列し、意味的に高忠実に操作されたビデオを生成する。
論文 参考訳(メタデータ) (2024-12-16T12:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。