論文の概要: Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs
- arxiv url: http://arxiv.org/abs/2608.12911v1
- Date: Thu, 13 Aug 2026 07:53:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.422223
- Title: Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs
- Title(参考訳): ビジュアルエビデンスを超えて - ドキュメントMLLMにおけるリレーショナルプライバシ漏洩の調査と緩和
- Abstract要約: 本稿では,鍵情報抽出(KIE)タスクに固有のプライバシー問題について検討する。
入力画像に十分な視覚的証拠がない場合、これらのモデルはしばしば、不足したコンテンツを推測するために記憶されたフィールド関係に依存する。
本稿では,このリスクを動的更新機構を備えたUnlearning Framework (DRUF) で軽減することを提案する。
- 参考スコア(独自算出の注目度): 13.913126694995668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the privacy risks of multimodal large language models (MLLMs) have drawn significant attention, the unique vulnerabilities of domain-specific MLLMs remain largely underexplored. Focusing on document understanding MLLMs for identity document processing, this paper investigates the privacy issues inherent in Key Information Extraction (KIE) tasks. We reveal that when input images lack sufficient visual evidence, these models often rely on memorized field relations from training data to infer missing content, thereby leaking multiple correlated fields containing sensitive personal information. To mitigate this risk, we make three key contributions.First, we propose the Dynamic Relational Unlearning Framework (DRUF) which comprises a Relational Decoupling Unlearning (RDU) module and a dynamic set update mechanism. It suppresses the leakage of high-risk field pairs while preserving KIE performance.Second, we introduce DocPrivacyBench, a novel benchmark to systematically evaluate a model's susceptibility to privacy leakage under conditions of absent or minimal visual evidence.Third, we evaluate three MLLMs and six unlearning methods using this benchmark, assessing both post-unlearning leakage suppression and utility preservation.Our results demonstrate that existing MLLMs consistently exhibit privacy leakage when visual evidence is scarce, particularly on noisier datasets. In contrast, DRUF outperforms the strongest baseline by improving leakage suppression by 4.8 percentage points, effectively mitigating privacy risks while maintaining robust document information extraction performance.
- Abstract(参考訳): マルチモーダル大言語モデル(MLLM)のプライバシリスクは大きな注目を集めているが、ドメイン固有のMLLMのユニークな脆弱性はいまだに未発見のままである。
本稿では,鍵情報抽出(KIE)タスクに固有のプライバシー問題について考察する。
入力画像に十分な視覚的証拠がない場合、これらのモデルは、学習データから記憶されたフィールド関係に頼り、欠落したコンテンツを推測し、機密性の高い個人情報を含む複数の関連フィールドをリークする。
まず、リレーショナル・デカップリング・アンラーニング(RDU)モジュールと動的セット更新機構を備えた動的リレーショナル・アンラーニング・フレームワーク(DRUF)を提案する。
KIE性能を保ったままの高リスクフィールドペアの漏洩を抑えるため,我々はDocPrivacyBenchを紹介した。これは,視覚的証拠の欠如や最小限の条件下で,モデルのプライバシリークに対する感受性を体系的に評価する新しいベンチマークである。3つのMLLMと6つのアンラーニング手法をこのベンチマークを用いて評価し,非ラーニング後の漏洩抑制とユーティリティ保存の両方を評価し,既存のMLLMが視覚的証拠が乏しい場合に常にプライバシーリークを示すことを示す。
対照的に、DRUFはリーク抑制を4.8ポイント改善し、堅牢な文書情報抽出性能を維持しながら、プライバシーリスクを効果的に軽減することで、最強のベースラインを上回っている。
関連論文リスト
- POPS: Recovering Unlearned Multi-Modality Knowledge in MLLMs with Prompt-Optimized Parameter Shaking [56.151482557515955]
MMU (Multi-modality Machine Unlearning) は、MLLMが個人情報を忘れることを効果的に強制する緩和策として提案された。
本稿では,MLLMから未学習のマルチモーダルな知識を回収することを目的とした新しい戦略であるPrompt-d adversarial-POPSを提案する。
提案手法は, 被害者のMLLMに対して, プロンプトサフィックス最適化による潜在的プライベートサンプルの生成を誘導し, 合成した出力を利用してモデルを微調整し, 真のプライベート情報を開示する。
論文 参考訳(メタデータ) (2026-07-07T16:28:54Z) - Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges [55.425628316813174]
MLLM(Multi-modal Large Language Models)は、テキストと画像の両方を処理する。
テキストのみのモデルと比較して、MLLMは画像に埋め込まれた機密情報を抽出し、公開することができる。
一部のMLLMはプライバシー侵害の影響を受けやすく、画像やメモリに埋め込まれた機密データを漏洩させる。
論文 参考訳(メタデータ) (2026-06-08T07:19:42Z) - Seeing Without Exposing: Adaptive Privacy Control for Open-World, Context-Hungry MLLMs [61.80513991207956]
MLLMにおけるプライバシー問題に対処するために,Anchored Privacy Drifting (APD)を提案する。
APDは、コンテキストキューをソースイメージに固定しながら、意味論的に等価な代替手段に向けて、プライバシに敏感な要素をドリフトする。
本手法は,プライバシ・サニタイゼーションとコンテンツ保持の両面でバランスのとれた改善を実現する。
論文 参考訳(メタデータ) (2026-06-05T11:41:39Z) - When Privacy Meets Recovery: The Overlooked Half of Surrogate-Driven Privacy Preservation for MLLM Editing [61.80513991207956]
この研究は、さまざまなMLLMシナリオでサロゲート駆動の保護されたデータを復元する方法の課題に焦点を当てている。
私たちはまず、SPPE(Surrogate Privacy Protected Editable)データセットの提供によって、この研究ギャップを埋めます。
MLLM生成編集の忠実さを保ちながら、プライベートコンテンツを確実に再構築する統一的な手法を提案する。
論文 参考訳(メタデータ) (2025-12-08T04:59:03Z) - Safe-LLaVA: A Privacy-Preserving Vision-Language Dataset and Benchmark for Biometric Safety [43.17090130312271]
MLLM(Multimodal Large Language Models)は視覚言語タスクにおいて顕著な機能を示す。
これらのモデルは、人種、性別、年齢、体重、眼の色などの敏感な生体特性を推測し、明らかにすることが多い。
意識の高まりにもかかわらず、MLLMのバイオメトリックリークを包括的に評価または緩和するために、公開データセットやベンチマークは存在しない。
論文 参考訳(メタデータ) (2025-08-29T18:54:57Z) - 1-2-3 Check: Enhancing Contextual Privacy in LLM via Multi-Agent Reasoning [18.751008976082655]
プライバシ推論を専門のサブタスク(抽出,分類)に分解するマルチエージェントフレームワークを導入する。
情報フロートポロジに対して系統的なアブレーションを行い、上流検出がダウンストリームリークにカスケードを間違えた理由を明らかにした。
論文 参考訳(メタデータ) (2025-08-11T06:34:09Z) - Unlearning Sensitive Information in Multimodal LLMs: Benchmark and Attack-Defense Evaluation [88.78166077081912]
我々は、MLLMから特定のマルチモーダル知識を削除する方法を評価するために、マルチモーダル・アンラーニング・ベンチマークUnLOK-VQAとアタック・アンド・ディフェンス・フレームワークを導入する。
その結果,マルチモーダル攻撃はテキストや画像のみの攻撃よりも優れており,最も効果的な防御は内部モデル状態から解答情報を除去することを示した。
論文 参考訳(メタデータ) (2025-05-01T01:54:00Z) - Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。
既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。
本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-16T14:28:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。