論文の概要: When Recovery Matters: The Blind Spot of Surrogate Privacy in MLLM Editing
- arxiv url: http://arxiv.org/abs/2606.07171v1
- Date: Fri, 05 Jun 2026 11:40:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.714007
- Title: When Recovery Matters: The Blind Spot of Surrogate Privacy in MLLM Editing
- Title(参考訳): MLLM編集におけるプライバシー保護の盲点
- Authors: Siyuan Xu, Yibing Liu, Peilin Chen, Yung-Hui LI, Shiqi Wang, Sam Kwong,
- Abstract要約: 我々は、36のきめ細かいプライバシーカテゴリと65の編集手順をカバーする最初のリカバリ指向ベンチマークであるSPPE(Surrogate-based Privacy-Preserving Editing)を紹介する。
編集性評価のために、ERMAはSRCCで13.9%、PLCCで12.3%向上した。
SPPEとInstructPix2Pixの実験では、両方のタスクが一貫した改善が見られた。
- 参考スコア(独自算出の注目度): 61.80513991207956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) enable flexible instruction-driven image editing, but privacy risks arise when user images expose diverse and user-specific private content. Canonical privacy protection strategies typically substitute sensitive regions with surrogate content before cloud editing. Yet, the resulting output is often an edited surrogate rather than the desired edited source image, neglecting the local recovery in both design and evaluation scope. To this end, we introduce SPPE (Surrogate-based Privacy-Preserving Editing), the first recovery-oriented benchmark covering 36 fine-grained privacy categories and 65 editing instructions. It defines two complementary tasks: 1) editability assessment, which estimates before cloud interaction whether a surrogate can induce an edit consistent with the original image; and 2) surrogate-to-source edit recovery, which evaluates whether the edited surrogate can be transferred back to the private source with the edit effect preserved. We address each task with a dedicated method: ERMA predicts surrogate editability through instruction-aware multimodal relation modeling, while \method performs cycle-consistent recovery by using the surrogate editing pair as visual edit evidence and the source image as a source-preserving anchor. Experiments on SPPE and InstructPix2Pix show consistent improvements on both tasks. For editability assessment, ERMA improves over the best-performing baselines by 13.9% in SRCC and 12.3% in PLCC. For surrogate-to-source edit recovery, C2E-S2SER outperforms SOER across all 8 source integrity and edit consistency metrics on SPPE.
- Abstract(参考訳): MLLM(Multimodal Large Language Models)は、フレキシブルな命令駆動型画像編集を可能にするが、ユーザイメージが多様なユーザ固有のプライベートコンテンツを公開すると、プライバシのリスクが生じる。
標準的なプライバシ保護戦略は、クラウド編集の前に、機密性の高い領域を代理コンテンツに置き換えるのが一般的である。
しかし、結果の出力は、望まれるソースイメージよりもむしろ編集されたサロゲートであり、設計と評価の両方における局所的なリカバリを無視していることが多い。
この目的のために、36のきめ細かいプライバシーカテゴリと65の編集命令をカバーする最初のリカバリ指向のベンチマークであるSPPE(Surrogate-based Privacy-Preserving Editing)を紹介する。
それは2つの補完的なタスクを定義します。
1)サロゲートが原画像と整合した編集を誘導できるか否かをクラウド間相互作用前に推定する編集可能性評価
2) 編集効果を保存して, 編集したサロゲートをプライベートソースに戻すことができるかどうかを評価するサロゲートからソースへの編集回復を行う。
ERMAは命令対応マルチモーダル関係モデリングによりサロゲート編集可能性を予測する一方、Shamethodはサロゲート編集ペアを視覚的編集エビデンスとして、ソースイメージをソース保存アンカーとして、サイクル一貫性回復を行う。
SPPEとInstructPix2Pixの実験では、両方のタスクが一貫した改善が見られた。
編集性評価のために、ERMAはSRCCで13.9%、PLCCで12.3%向上した。
C2E-S2SERは、サロゲートからソースへの編集リカバリのために、SPPE上の8つのソース整合性と編集整合性メトリクスでSOERを上回っている。
関連論文リスト
- CoEditor++: Instruction-based Visual Editing via Cognitive Reasoning [98.98349220451216]
CoEditor++は、編集を"編集する方法"と"編集方法"に分解する、トレーニング不要のフレームワークである。
我々は,CoEditor++が編集タスクと編集タスクの両方において,最先端のパフォーマンスを実現することを示す。
以上の結果から,認知中心型画像編集の可能性が示唆された。
論文 参考訳(メタデータ) (2026-01-31T12:20:46Z) - ProEdit: Inversion-based Editing From Prompts Done Right [63.554692704101]
インバージョンベースのビジュアル編集は、ユーザ指示に基づいて画像やビデオを編集するための効果的でトレーニングのない方法を提供する。
既存の方法は、通常、編集一貫性を維持するためにサンプリングプロセス中にソースイメージ情報を注入する。
注意点と潜伏点の両方においてこの問題に対処するProEditを提案する。
論文 参考訳(メタデータ) (2025-12-26T18:59:14Z) - Lost in Edits? A $λ$-Compass for AIGC Provenance [119.95562081325552]
本稿では,実測出力と操作された出力を頑健に識別し,識別する新しい潜在空間属性法を提案する。
LambdaTracerは、InstructPix2Pixのようなテキスト誘導編集ツールによって自動化されるか、Adobe Photoshopのような編集ソフトウェアで手動で実行されるか、様々な反復編集プロセスで有効である。
論文 参考訳(メタデータ) (2025-02-05T06:24:25Z) - UIP2P: Unsupervised Instruction-based Image Editing via Edit Reversibility Constraint [87.20985852686785]
本研究では,教師なし指導に基づく画像編集手法を提案する。
本稿では,編集可逆性制約 (ERC) と呼ばれる新しい編集機構を導入することで,これらの課題に対処する。
これにより、地道に編集されたイメージの必要性を回避し、実際のイメージキャプチャペアまたはイメージキャプチャインストラクショントリプルからなるデータセットで、初めてトレーニングをアンロックすることが可能になります。
論文 参考訳(メタデータ) (2024-12-19T18:59:58Z) - E4C: Enhance Editability for Text-Based Image Editing by Harnessing Efficient CLIP Guidance [13.535394339438428]
拡散ベースの画像編集は、ソースイメージコンテンツを保存し、新しいコンテンツを生成したり、修正を加えたりする複合プロセスである。
テキストベースのtextbf 編集のための textbfCLIP 誘導によるゼロショット画像編集手法である textbfEnhance textbfEditability を提案する。
論文 参考訳(メタデータ) (2024-03-15T09:26:48Z) - Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。
画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。
本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-10-18T17:59:02Z) - Eliminating Contextual Prior Bias for Semantic Image Editing via
Dual-Cycle Diffusion [35.95513392917737]
Dual-Cycle Diffusionと呼ばれる新しいアプローチは、画像編集をガイドするアンバイアスマスクを生成する。
提案手法の有効性を実証し,D-CLIPスコアを0.272から0.283に改善した。
論文 参考訳(メタデータ) (2023-02-05T14:30:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。