論文の概要: Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges
- arxiv url: http://arxiv.org/abs/2606.09125v1
- Date: Mon, 08 Jun 2026 07:19:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.79755
- Title: Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges
- Title(参考訳): マルチモーダル大規模言語モデルにおけるプライバシリスクの解消:タスク固有の脆弱性と緩和課題
- Authors: Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei,
- Abstract要約: MLLM(Multi-modal Large Language Models)は、テキストと画像の両方を処理する。
テキストのみのモデルと比較して、MLLMは画像に埋め込まれた機密情報を抽出し、公開することができる。
一部のMLLMはプライバシー侵害の影響を受けやすく、画像やメモリに埋め込まれた機密データを漏洩させる。
- 参考スコア(独自算出の注目度): 55.425628316813174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy risks in text-only Large Language Models (LLMs) are well studied, particularly their tendency to memorize and leak sensitive information. However, Multi-modal Large Language Models (MLLMs), which process both text and images, introduce unique privacy challenges that remain underexplored. Compared to text-only models, MLLMs can extract and expose sensitive information embedded in images, posing new privacy risks. We reveal that some MLLMs are susceptible to privacy breaches, leaking sensitive data embedded in images or stored in memory. Specifically, in this paper, we (1) introduce MM-Privacy, a comprehensive dataset designed to assess privacy risks across various multi-modal tasks and scenarios, where we define Disclosure Risks and Retention Risks. (2) systematically evaluate different MLLMs using MM-Privacy and demonstrate how models leak sensitive data across various tasks, and (3) provide additional insights into the role of task inconsistency in privacy risks, emphasizing the urgent need for mitigation strategies. Our findings highlight privacy concerns in MLLMs, underscoring the necessity of safeguards to prevent data exposure. Our dataset and code can be found here.
- Abstract(参考訳): テキストのみのLarge Language Models(LLM)のプライバシーリスクは、特に機密情報を記憶・漏洩する傾向がよく研究されている。
しかし、テキストと画像の両方を処理するMLLM(Multi-modal Large Language Models)は、未調査のままのユニークなプライバシー問題を導入している。
テキストのみのモデルと比較して、MLLMは画像に埋め込まれた機密情報を抽出して公開し、新たなプライバシーリスクを生じさせる。
MLLMの中には、画像やメモリに埋め込まれた機密データを漏洩させたり、プライバシー侵害の恐れがあるものもあります。
具体的には,(1)情報開示リスクと保持リスクを定義する多目的タスクやシナリオのプライバシリスクを評価するための包括的データセットMM-Privacyを導入する。
2)MM-Privacyを用いて異なるMLLMを体系的に評価し,各種タスクにわたる機密データをモデルが漏洩する方法を実証し,(3)プライバシリスクにおけるタスク不整合の役割について,緊急の緩和戦略の必要性を強調した。
本研究は,MLLMにおけるプライバシの懸念を浮き彫りにし,データ漏洩防止のための安全対策の必要性を強調した。
データセットとコードはここにある。
関連論文リスト
- When Privacy Meets Recovery: The Overlooked Half of Surrogate-Driven Privacy Preservation for MLLM Editing [61.80513991207956]
この研究は、さまざまなMLLMシナリオでサロゲート駆動の保護されたデータを復元する方法の課題に焦点を当てている。
私たちはまず、SPPE(Surrogate Privacy Protected Editable)データセットの提供によって、この研究ギャップを埋めます。
MLLM生成編集の忠実さを保ちながら、プライベートコンテンツを確実に再構築する統一的な手法を提案する。
論文 参考訳(メタデータ) (2025-12-08T04:59:03Z) - SoK: The Privacy Paradox of Large Language Models: Advancements, Privacy Risks, and Mitigation [9.414685411687735]
大型言語モデル(LLM)は、機械が顕著な精度で人間に似たテキストを生成することができる高度な人工知能システムである。
本稿では, LLMにおけるプライバシーの包括的分析を行い, 課題を4つの主要領域に分類する。
提案するプライバシ課題を対象として,既存の緩和メカニズムの有効性と限界を評価し,さらなる研究を行うための領域を特定する。
論文 参考訳(メタデータ) (2025-06-15T03:14:03Z) - Beyond Text: Unveiling Privacy Vulnerabilities in Multi-modal Retrieval-Augmented Generation [17.859942323017133]
MRAGのプライバシーの脆弱性を視覚言語と音声言語にまたがって初めて体系的に分析する。
実験の結果,LMMは検索した内容に類似した出力を直接生成し,センシティブな情報を間接的に公開する記述を生成することができることがわかった。
論文 参考訳(メタデータ) (2025-05-20T05:37:22Z) - Multi-P$^2$A: A Multi-perspective Benchmark on Privacy Assessment for Large Vision-Language Models [65.2761254581209]
LVLM(Large Vision-Language Models)21個のオープンソースと2個のクローズドソースのプライバシ保護機能の評価を行った。
Multi-P$2$Aに基づいて、21のオープンソースと2つのクローズドソースLVLMのプライバシ保護機能を評価する。
以上の結果から,現在のLVLMは一般にプライバシー侵害のリスクが高いことが明らかとなった。
論文 参考訳(メタデータ) (2024-12-27T07:33:39Z) - On the Privacy Risk of In-context Learning [36.633860818454984]
我々は、プロンプトモデルがプロンプト内で使用されるデータに対して、重大なプライバシーリスクを示すことを示した。
また、トリガーモデルのプライバシリスクが、同じユーティリティレベルで微調整されたモデルを超えることも観察します。
論文 参考訳(メタデータ) (2024-11-15T17:11:42Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳(メタデータ) (2024-08-29T17:58:38Z) - On Protecting the Data Privacy of Large Language Models (LLMs): A Survey [35.48984524483533]
LLM(Large Language Model)は、人間の言語を理解し、生成し、翻訳できる複雑な人工知能システムである。
LLMは大量のデータを処理して生成し、データプライバシを脅かす可能性がある。
論文 参考訳(メタデータ) (2024-03-08T08:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。