論文の概要: Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges
- arxiv url: http://arxiv.org/abs/2606.09125v1
- Date: Mon, 08 Jun 2026 07:19:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.79755
- Title: Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges
- Title(参考訳): マルチモーダル大規模言語モデルにおけるプライバシリスクの解消:タスク固有の脆弱性と緩和課題
- Abstract要約: MLLM(Multi-modal Large Language Models)は、テキストと画像の両方を処理する。
テキストのみのモデルと比較して、MLLMは画像に埋め込まれた機密情報を抽出し、公開することができる。
一部のMLLMはプライバシー侵害の影響を受けやすく、画像やメモリに埋め込まれた機密データを漏洩させる。
- 参考スコア(独自算出の注目度): 55.425628316813174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy risks in text-only Large Language Models (LLMs) are well studied, particularly their tendency to memorize and leak sensitive information. However, Multi-modal Large Language Models (MLLMs), which process both text and images, introduce unique privacy challenges that remain underexplored. Compared to text-only models, MLLMs can extract and expose sensitive information embedded in images, posing new privacy risks. We reveal that some MLLMs are susceptible to privacy breaches, leaking sensitive data embedded in images or stored in memory. Specifically, in this paper, we (1) introduce MM-Privacy, a comprehensive dataset designed to assess privacy risks across various multi-modal tasks and scenarios, where we define Disclosure Risks and Retention Risks. (2) systematically evaluate different MLLMs using MM-Privacy and demonstrate how models leak sensitive data across various tasks, and (3) provide additional insights into the role of task inconsistency in privacy risks, emphasizing the urgent need for mitigation strategies. Our findings highlight privacy concerns in MLLMs, underscoring the necessity of safeguards to prevent data exposure. Our dataset and code can be found here.
- Abstract(参考訳): テキストのみのLarge Language Models(LLM)のプライバシーリスクは、特に機密情報を記憶・漏洩する傾向がよく研究されている。
しかし、テキストと画像の両方を処理するMLLM(Multi-modal Large Language Models)は、未調査のままのユニークなプライバシー問題を導入している。
テキストのみのモデルと比較して、MLLMは画像に埋め込まれた機密情報を抽出して公開し、新たなプライバシーリスクを生じさせる。
MLLMの中には、画像やメモリに埋め込まれた機密データを漏洩させたり、プライバシー侵害の恐れがあるものもあります。
具体的には,(1)情報開示リスクと保持リスクを定義する多目的タスクやシナリオのプライバシリスクを評価するための包括的データセットMM-Privacyを導入する。
2)MM-Privacyを用いて異なるMLLMを体系的に評価し,各種タスクにわたる機密データをモデルが漏洩する方法を実証し,(3)プライバシリスクにおけるタスク不整合の役割について,緊急の緩和戦略の必要性を強調した。
本研究は,MLLMにおけるプライバシの懸念を浮き彫りにし,データ漏洩防止のための安全対策の必要性を強調した。
データセットとコードはここにある。
関連論文リスト
- Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs [13.913126694995668]
本稿では,鍵情報抽出(KIE)タスクに固有のプライバシー問題について検討する。
入力画像に十分な視覚的証拠がない場合、これらのモデルはしばしば、不足したコンテンツを推測するために記憶されたフィールド関係に依存する。
本稿では,このリスクを動的更新機構を備えたUnlearning Framework (DRUF) で軽減することを提案する。
論文 参考訳(メタデータ) (2026-08-13T07:53:53Z) - POPS: Recovering Unlearned Multi-Modality Knowledge in MLLMs with Prompt-Optimized Parameter Shaking [56.151482557515955]
MMU (Multi-modality Machine Unlearning) は、MLLMが個人情報を忘れることを効果的に強制する緩和策として提案された。
本稿では,MLLMから未学習のマルチモーダルな知識を回収することを目的とした新しい戦略であるPrompt-d adversarial-POPSを提案する。
提案手法は, 被害者のMLLMに対して, プロンプトサフィックス最適化による潜在的プライベートサンプルの生成を誘導し, 合成した出力を利用してモデルを微調整し, 真のプライベート情報を開示する。
論文 参考訳(メタデータ) (2026-07-07T16:28:54Z) - When Privacy Meets Recovery: The Overlooked Half of Surrogate-Driven Privacy Preservation for MLLM Editing [61.80513991207956]
この研究は、さまざまなMLLMシナリオでサロゲート駆動の保護されたデータを復元する方法の課題に焦点を当てている。
私たちはまず、SPPE(Surrogate Privacy Protected Editable)データセットの提供によって、この研究ギャップを埋めます。
MLLM生成編集の忠実さを保ちながら、プライベートコンテンツを確実に再構築する統一的な手法を提案する。
論文 参考訳(メタデータ) (2025-12-08T04:59:03Z) - SoK: The Privacy Paradox of Large Language Models: Advancements, Privacy Risks, and Mitigation [9.414685411687735]
大型言語モデル(LLM)は、機械が顕著な精度で人間に似たテキストを生成することができる高度な人工知能システムである。
本稿では, LLMにおけるプライバシーの包括的分析を行い, 課題を4つの主要領域に分類する。
提案するプライバシ課題を対象として,既存の緩和メカニズムの有効性と限界を評価し,さらなる研究を行うための領域を特定する。
論文 参考訳(メタデータ) (2025-06-15T03:14:03Z) - Beyond Text: Unveiling Privacy Vulnerabilities in Multi-modal Retrieval-Augmented Generation [17.859942323017133]
MRAGのプライバシーの脆弱性を視覚言語と音声言語にまたがって初めて体系的に分析する。
実験の結果,LMMは検索した内容に類似した出力を直接生成し,センシティブな情報を間接的に公開する記述を生成することができることがわかった。
論文 参考訳(メタデータ) (2025-05-20T05:37:22Z) - Multi-P$^2$A: A Multi-perspective Benchmark on Privacy Assessment for Large Vision-Language Models [65.2761254581209]
LVLM(Large Vision-Language Models)21個のオープンソースと2個のクローズドソースのプライバシ保護機能の評価を行った。
Multi-P$2$Aに基づいて、21のオープンソースと2つのクローズドソースLVLMのプライバシ保護機能を評価する。
以上の結果から,現在のLVLMは一般にプライバシー侵害のリスクが高いことが明らかとなった。
論文 参考訳(メタデータ) (2024-12-27T07:33:39Z) - On the Privacy Risk of In-context Learning [36.633860818454984]
我々は、プロンプトモデルがプロンプト内で使用されるデータに対して、重大なプライバシーリスクを示すことを示した。
また、トリガーモデルのプライバシリスクが、同じユーティリティレベルで微調整されたモデルを超えることも観察します。
論文 参考訳(メタデータ) (2024-11-15T17:11:42Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳(メタデータ) (2024-08-29T17:58:38Z) - LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。
この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。
本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文 参考訳(メタデータ) (2024-08-23T01:37:29Z) - On Protecting the Data Privacy of Large Language Models (LLMs): A Survey [35.48984524483533]
LLM(Large Language Model)は、人間の言語を理解し、生成し、翻訳できる複雑な人工知能システムである。
LLMは大量のデータを処理して生成し、データプライバシを脅かす可能性がある。
論文 参考訳(メタデータ) (2024-03-08T08:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。