論文の概要: Cross-Branch Conflict as a Shield: Safeguarding Facial Identities in Unified Multimodal Image Editing
- arxiv url: http://arxiv.org/abs/2607.16898v1
- Date: Sat, 18 Jul 2026 17:35:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.298683
- Title: Cross-Branch Conflict as a Shield: Safeguarding Facial Identities in Unified Multimodal Image Editing
- Title（参考訳）: シールドとしてのクロスブランチ・コンフリクト:統合マルチモーダル画像編集における顔のアイデンティティの保護
- Abstract要約: 統一マルチモーダルモデル (UMM) は近年, 命令ベースの画像編集能力の強化を実証している。
既存の対向保護法は主に視覚的理解または画像生成モデルのために設計されている。
我々は,VTとVAEの表現をクリーンな表現から切り離し,協調的に駆動する,統合された敵保護フレームワークであるCSを提案する。
- 参考スコア（独自算出の注目度）: 14.744225493456936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unified multimodal models (UMMs) have recently demonstrated powerful instruction-based image editing capabilities, but they also raise serious concerns about unauthorized manipulation of personal portraits. Existing adversarial protection methods are mainly designed for either visual understanding or image generation models and often become ineffective when transferred to UMMs, which process an image through multiple complementary visual pathways. In this work, we first conduct a feature-level analysis of unified image editing. We observe that the ViT-based understanding branch and the VAE-based generation branch exhibit non-trivial structural agreement for the same input image. Although perturbing an individual branch can reduce this agreement and induce intermediate hidden-state deviations, such effects are asymmetric and gradually attenuated during multimodal fusion and generation. These observations reveal that single-branch feature distortion is insufficient for consistently disrupting unified image editing. Motivated by this finding, we propose CCS, a unified adversarial protection framework that jointly drives the ViT and VAE representations away from their clean counterparts while explicitly disrupting their cross-branch compatibility through linear CKA. By simultaneously removing stable information from both visual pathways and creating incompatible visual contexts, CCS prevents the UMM from recovering reliable identity information during editing. Extensive experiments demonstrate that CCS consistently outperforms existing protection methods in suppressing identity-preserving edits.
- Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、最近、強力な命令ベースの画像編集機能を示したが、個人像の不正な操作に関して深刻な懸念も持ち上がった。
既存の対向保護法は主に視覚的理解または画像生成モデルのために設計されており、複数の相補的な視覚経路を通して画像を処理するUMMに移行すると、しばしば効果が低下する。
本研究ではまず,統合画像編集の機能レベル解析を行う。
我々は、VTに基づく理解部とVAEに基づく生成部が、同じ入力画像に対して非自明な構造一致を示すことを観察した。
個々の枝の摂動は、この合意を減らし、中間的な隠れ状態の偏差を誘導するが、そのような効果は非対称であり、マルチモーダル融合と生成の間に徐々に減衰する。
これらの観察結果から,単一ブランチの特徴歪みは画像編集を継続的に破壊するには不十分であることが判明した。
この発見を動機として,線形CKAを通したクロスブランチ互換性を明示的に破壊しつつ,ViTとVAEの表現をクリーンな表現から切り離す統合対向保護フレームワークであるCSを提案する。
CCSは、両視覚経路から安定した情報を同時に取り除き、相容れない視覚コンテキストを作成することにより、編集中にUMMが信頼できるアイデンティティ情報を回復するのを防ぐ。
大規模な実験により、CCSはID保存編集の抑制において、既存の保護手法を一貫して上回っていることが示された。
関連論文リスト
- SAUF-Net: Structure--Appearance Representation Learning with Uncertainty Feedback for Semi-Supervised Medical Image Segmentation [11.11888950065648]
半教師型医用画像セグメンテーションのための不確かさフィードバックネットワークを用いた構造表現学習であるSAUF-Netを提案する。
本稿では、外観変化下で構造表現が安定し続けることを奨励するために、外観選択整合分岐を導入する。
ISIC-2016とKvasir-SEGの実験は、SAUF-Netが最先端の半教師付き手法より優れていることを示した。
論文 参考訳（メタデータ） (2026-09-02T07:54:49Z) - No Prompt, No Leaks: A Robust Generative Steganography Framework via Prompt-Free Diffusion [15.432428509145703]
生成画像ステガノグラフィーは、秘密情報から直接ステゴ画像を合成し、固有のセキュリティ上の利点を実現する。
潜伏拡散モデル(Latent Diffusion Models)は、テキストプロンプトで秘密潜伏表現を変調する基本的な画像ステガノグラフィーフレームワークとして登場した。
本稿では,より堅牢で信頼性の高いステゴ画像生成を制御するために,スタイルセマンティクスを組み込んだプロンプトフリー拡散画像ステガノグラフィーフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-30T09:51:34Z) - UniCustom: Unified Visual Conditioning for Multi-Reference Image Generation [65.53694602893042]
VLMエンコーディングの前にVTとVAE機能を融合した統合ビジュアルコンディショニングフレームワークを提案する。
2つのマルチ参照生成ベンチマークの実験により、UniCustomは主題の一貫性、命令従順、構成の忠実さを一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-05-12T13:10:05Z) - Causal Bootstrapped Alignment for Unsupervised Video-Based Visible-Infrared Person Re-Identification [52.784239635604735]
VVI-ReIDは、静止画像以外にも時間情報が付加的な手がかりを提供する、全日監視のための重要な技術である。
既存のアプローチは、高価なクロスモダリティアノテーションによる完全な教師付き学習に大きく依存しており、スケーラビリティが制限されています。
そこで,本研究では,ビデオの先行を明示的に活用するCausal Bootstrapped Alignmentフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-17T02:15:59Z) - SIDeR: Semantic Identity Decoupling for Unrestricted Face Privacy [53.75084833636302]
本稿では,非制限顔プライバシー保護のためのセマンティックデカップリング駆動フレームワークSIDeRを提案する。
SIDeRは、顔画像をマシン認識可能な識別特徴ベクトルと視覚的に知覚可能なセマンティックな外観成分に分解する。
認証されたアクセスのために、SIDeRは正しいパスワードが提供されるときに元の形式に復元できる。
論文 参考訳（メタデータ） (2026-02-04T19:30:48Z) - Towards Transferable Defense Against Malicious Image Edits [70.17363183107604]
Transferable Defense Against Malicious Image Edits (TDAE)は、悪意のある編集に対するイメージ免疫を強化する新しいバイモーダルフレームワークである。
本稿では,FlatGrad Defense Mechanism (FDM) を紹介した。
テキストエンハンスメント保護のための動的プロンプトディフェンス (DPD) を提案し, テキスト埋め込みを周期的に洗練し, 免疫画像の編集結果を元の画像と整合させる。
論文 参考訳（メタデータ） (2025-12-16T12:10:16Z) - ID-Guard: A Universal Framework for Combating Facial Manipulation via Breaking Identification [60.73617868629575]
深層学習に基づく顔操作の誤用は、公民権に重大な脅威をもたらす。
この不正行為を防止するため、操作過程を妨害する積極的な防御法が提案されている。
本稿では,IDガード(ID-Guard)と呼ばれる顔の操作に対処するための普遍的な枠組みを提案する。
論文 参考訳（メタデータ） (2024-09-20T09:30:08Z) - Rethinking and Defending Protective Perturbation in Personalized Diffusion Models [21.30373461975769]
パーソナライズされた拡散モデル(PDM)の微調整過程について,ショートカット学習のレンズを用いて検討した。
PDMは小さな逆境の摂動に影響を受けやすいため、破損したデータセットを微調整すると著しく劣化する。
本稿では,データ浄化と対照的なデカップリング学習を含むシステム防衛フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-27T07:14:14Z) - Editing Out-of-domain GAN Inversion via Differential Activations [56.62964029959131]
本稿では,構成分解パラダイムを用いて,ドメイン外反転問題に対処する新しいGAN事前編集フレームワークを提案する。
生成されたDiff-CAMマスクの助けを借りて、粗い再構成を直感的に元の画像と編集された画像で合成することができる。
また, 分解段階において, 粗い再構成から最終微編集画像を切り離すための, GAN 以前のデゴーストネットワークを提示する。
論文 参考訳（メタデータ） (2022-07-17T10:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。