Fugu-MT 論文翻訳(概要): Auditing M-LLMs for Privacy Risks: A Synthetic Benchmark and Evaluation Framework

論文の概要: Auditing M-LLMs for Privacy Risks: A Synthetic Benchmark and Evaluation Framework

arxiv url: http://arxiv.org/abs/2511.03248v2
Date: Sun, 09 Nov 2025 02:46:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-11 14:56:00.529061
Title: Auditing M-LLMs for Privacy Risks: A Synthetic Benchmark and Evaluation Framework
Title（参考訳）: プライバシリスクに対するM-LLMの評価: 総合ベンチマークと評価フレームワーク
Abstract要約: PRISMは、クロスモーダルなプライバシーリスクを評価するために設計された大規模な総合ベンチマークである。 PRISMは、最初のマルチモーダル、多次元、微細な合成データセットである。 PRISM上での6つのM-LLMの推論能力を評価する。
参考スコア（独自算出の注目度）: 7.493288948235459
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in multi-modal Large Language Models (M-LLMs) have demonstrated a powerful ability to synthesize implicit information from disparate sources, including images and text. These resourceful data from social media also introduce a significant and underexplored privacy risk: the inference of sensitive personal attributes from seemingly daily media content. However, the lack of benchmarks and comprehensive evaluations of state-of-the-art M-LLM capabilities hinders the research of private attribute profiling on social media. Accordingly, we propose (1) PRISM, the first multi-modal, multi-dimensional and fine-grained synthesized dataset incorporating a comprehensive privacy landscape and dynamic user history; (2) an Efficient evaluation framework that measures the cross-modal privacy inference capabilities of advanced M-LLM. Specifically, PRISM is a large-scale synthetic benchmark designed to evaluate cross-modal privacy risks. Its key feature is 12 sensitive attribute labels across a diverse set of multi-modal profiles, which enables targeted privacy analysis. These profiles are generated via a sophisticated LLM agentic workflow, governed by a prior distribution to ensure they realistically mimic social media users. Additionally, we propose a Multi-Agent Inference Framework that leverages a pipeline of specialized LLMs to enhance evaluation capabilities. We evaluate the inference capabilities of six leading M-LLMs (Qwen, Gemini, GPT-4o, GLM, Doubao, and Grok) on PRISM. The comparison with human performance reveals that these MLLMs significantly outperform in accuracy and efficiency, highlighting the threat of potential privacy risks and the urgent need for robust defenses. Dataset available at https://huggingface.co/datasets/xaddh/multimodal-privacy
Abstract（参考訳）: マルチモーダル大規模言語モデル(M-LLM)の最近の進歩は、画像やテキストを含む異なるソースから暗黙的な情報を合成する強力な能力を示している。ソーシャルメディアから得られたこれらのリソース豊富なデータは、重要かつ未調査のプライバシーリスクももたらしている: 一見日常的なメディアコンテンツから、機密性の高い個人属性を推測する。しかし、ベンチマークの欠如と最先端のM-LLM機能の包括的な評価は、ソーシャルメディア上での個人属性プロファイリングの研究を妨げる。そこで本研究では,(1)包括的プライバシランドスケープと動的ユーザ履歴を取り入れた,最初のマルチモーダル,多次元,微細な合成データセットであるPRISM,(2)高度なM-LLMのクロスモーダルプライバシ推論能力を測定する効率的な評価フレームワークを提案する。具体的には、PRISMは、クロスモーダルなプライバシーリスクを評価するために設計された大規模な総合ベンチマークである。その重要な機能は、さまざまなマルチモーダルプロファイルにまたがる12の機密属性ラベルであり、ターゲットのプライバシー分析を可能にする。これらのプロファイルは、ソーシャルメディアのユーザをリアルに模倣することを保証するために、事前配布によって管理される洗練されたLLMエージェントワークフローを介して生成される。さらに,評価能力を高めるために,特殊なLLMのパイプラインを利用するマルチエージェント推論フレームワークを提案する。 PRISM上の6つの主要なM-LLM(Qwen, Gemini, GPT-4o, GLM, Doubao, Grok)の推論能力を評価する。人間のパフォーマンスと比較すると、これらのMLLMは精度と効率において著しく優れており、潜在的なプライバシーリスクの脅威と堅牢な防御の必要性が浮き彫りになっている。 dataset available at https://huggingface.co/datasets/xaddh/multimodal-privacy

関連論文リスト

Beyond Direct Identifiers: Probabilistic Privacy Risk Estimation for Privacy-Conscious LLM Query Delegation [20.31515213689976]
プライバシーリスクは、明示的な識別子だけでなく、PIIのない自己開示にも起因している。プライバシ・Conscious Delegation(プライバシ・コンセント・デリゲーション)に対処するための有用な補助指標としてk匿名性を提案する。
論文参考訳（メタデータ） (2026-08-10T05:38:28Z)
POPS: Recovering Unlearned Multi-Modality Knowledge in MLLMs with Prompt-Optimized Parameter Shaking [56.151482557515955]
MMU (Multi-modality Machine Unlearning) は、MLLMが個人情報を忘れることを効果的に強制する緩和策として提案された。本稿では,MLLMから未学習のマルチモーダルな知識を回収することを目的とした新しい戦略であるPrompt-d adversarial-POPSを提案する。提案手法は, 被害者のMLLMに対して, プロンプトサフィックス最適化による潜在的プライベートサンプルの生成を誘導し, 合成した出力を利用してモデルを微調整し, 真のプライベート情報を開示する。
論文参考訳（メタデータ） (2026-07-07T16:28:54Z)
From Multiplicity to Vulnerability: Privacy Amplification Risk from One-Dataset-Multiple-Model Exposure [18.343372735919292]
本研究は, 1-dataset-multiple-model (ODMM) 設定がプライバシー漏洩を著しく増幅することを明らかにする。 ODMMモデルに対するブラックボックスアクセスでは、個々のODMMモデルによってリークされたプライバシー信号の集合的識別を行うアグリゲーション機構を設計する。その結果,ODMMモデル全体にわたるデータセットの再利用が,プライバシーを著しく損なうという強い証拠が得られた。
論文参考訳（メタデータ） (2026-07-06T14:04:39Z)
Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges [55.425628316813174]
MLLM(Multi-modal Large Language Models)は、テキストと画像の両方を処理する。テキストのみのモデルと比較して、MLLMは画像に埋め込まれた機密情報を抽出し、公開することができる。一部のMLLMはプライバシー侵害の影響を受けやすく、画像やメモリに埋め込まれた機密データを漏洩させる。
論文参考訳（メタデータ） (2026-06-08T07:19:42Z)
Seeing Without Exposing: Adaptive Privacy Control for Open-World, Context-Hungry MLLMs [61.80513991207956]
MLLMにおけるプライバシー問題に対処するために,Anchored Privacy Drifting (APD)を提案する。 APDは、コンテキストキューをソースイメージに固定しながら、意味論的に等価な代替手段に向けて、プライバシに敏感な要素をドリフトする。本手法は,プライバシ・サニタイゼーションとコンテンツ保持の両面でバランスのとれた改善を実現する。
論文参考訳（メタデータ） (2026-06-05T11:41:39Z)
When Privacy Meets Recovery: The Overlooked Half of Surrogate-Driven Privacy Preservation for MLLM Editing [61.80513991207956]
この研究は、さまざまなMLLMシナリオでサロゲート駆動の保護されたデータを復元する方法の課題に焦点を当てている。私たちはまず、SPPE(Surrogate Privacy Protected Editable)データセットの提供によって、この研究ギャップを埋めます。 MLLM生成編集の忠実さを保ちながら、プライベートコンテンツを確実に再構築する統一的な手法を提案する。
論文参考訳（メタデータ） (2025-12-08T04:59:03Z)
MultiPriv: Benchmarking Individual-Level Privacy Reasoning in Vision-Language Models [14.942122955210436]
現代のビジョンランゲージモデル(VLM)は、洗練された推論を示し、プライバシーリスクをエスカレートする。現在のプライバシーベンチマークは、この新たな脅威に対して構造的に不十分である。個人レベルのプライバシ推論を体系的に評価するための最初のベンチマークである textbfMultiPriv を提案する。
論文参考訳（メタデータ） (2025-11-21T04:33:11Z)
On the MIA Vulnerability Gap Between Private GANs and Diffusion Models [51.53790101362898]
GAN(Generative Adversarial Networks)と拡散モデルが高品質な画像合成のための主要なアプローチとして登場している。差分自己生成モデルが直面するプライバシーリスクの統一的および実証的分析について述べる。
論文参考訳（メタデータ） (2025-09-03T14:18:22Z)
The Man Behind the Sound: Demystifying Audio Private Attribute Profiling via Multimodal Large Language Model Agents [21.736748922886555]
本研究は,マルチモーダル大言語モデル(MLLM)に関連する新たなプライバシーリスクを明らかにする。オーディオ・プライベート・属性・プロファイリングと呼ぶ手法であるオーディオ・データから機密性の高い個人属性を推測する能力は重大な脅威となる。音声言語モデル(ALM)と大規模言語モデル(LLM)の相補的な長所を利用して推論能力を向上させるハイブリッドマルチエージェントフレームワークであるGiftsを提案する。
論文参考訳（メタデータ） (2025-07-14T07:51:56Z)
PBa-LLM: Privacy- and Bias-aware NLP using Named-Entity Recognition (NER) [45.870212237420226]
本研究では,Large Language Models(LLMs)のプライバシ保護トレーニングを容易にするために,NER(Named-Entity Recognition)の使用について検討する。我々は,NER技術を用いて個人識別や地理的位置情報などのテキストデータ中の機密情報を匿名化するフレームワークを提案する。この研究は2つの言語モデル(BERTとRoBERTa)と6つの匿名化アルゴリズム(Presidio、FLAIR、BERT、および異なるバージョンのGPT)を24,000の候補プロファイルのデータベースに適用した。
論文参考訳（メタデータ） (2025-06-30T14:42:49Z)
MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
論文参考訳（メタデータ） (2025-06-25T18:04:25Z)
Understanding and Benchmarking the Trustworthiness in Multimodal LLMs for Video Understanding [59.50808215134678]
この研究では、23の最先端のビデオLLMを評価する最初の総合的なベンチマークであるTrust-videoLLMを紹介した。その結果、動的シーン理解、クロスモーダルレジリエンス、現実世界のリスク軽減において、大きな制限が示された。
論文参考訳（メタデータ） (2025-06-14T04:04:54Z)
Beyond Text: Unveiling Privacy Vulnerabilities in Multi-modal Retrieval-Augmented Generation [17.859942323017133]
MRAGのプライバシーの脆弱性を視覚言語と音声言語にまたがって初めて体系的に分析する。実験の結果,LMMは検索した内容に類似した出力を直接生成し,センシティブな情報を間接的に公開する記述を生成することができることがわかった。
論文参考訳（メタデータ） (2025-05-20T05:37:22Z)
PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文参考訳（メタデータ） (2024-08-29T17:58:38Z)
DePrompt: Desensitization and Evaluation of Personal Identifiable Information in Large Language Model Prompts [11.883785681042593]
DePromptは、プロンプトのための脱感作保護および有効性評価フレームワークである。我々は、コンテキスト属性を統合し、プライバシタイプを定義し、高精度なPIIエンティティ識別を実現する。私たちのフレームワークはプロンプトに適応可能で、テキストのユーザビリティに依存したシナリオに拡張できます。
論文参考訳（メタデータ） (2024-08-16T02:38:25Z)
Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-16T14:28:56Z)
MultiTrust: A Comprehensive Benchmark Towards Trustworthy Multimodal Large Language Models [51.19622266249408]
MultiTrustはMLLMの信頼性に関する最初の総合的で統一されたベンチマークである。我々のベンチマークでは、マルチモーダルリスクとクロスモーダルインパクトの両方に対処する厳格な評価戦略を採用している。 21の近代MLLMによる大規模な実験は、これまで調査されなかった信頼性の問題とリスクを明らかにしている。
論文参考訳（メタデータ） (2024-06-11T08:38:13Z)
Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
論文参考訳（メタデータ） (2023-10-19T06:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。