論文の概要: Defeating Cerberus: Concept-Guided Privacy-Leakage Mitigation in Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2509.25525v1
• Date: Mon, 29 Sep 2025 21:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:44:59.946785
• Title: Defeating Cerberus: Concept-Guided Privacy-Leakage Mitigation in Multimodal Language Models
• Title（参考訳）: Defeating Cerberus: マルチモーダル言語モデルにおける概念ガイドによるプライバシリーク軽減
• Authors: Boyang Zhang, Istemi Ekin Akkus, Ruichuan Chen, Alice Dethise, Klaus Satzke, Ivica Rimac, Yang Zhang,
• Abstract要約: 本稿では,PII関連コンテンツに関連するモデルの内部状態を同定し,修正する概念誘導緩和手法を提案する。 本手法は, PII感受性タスクを学習や微調整を必要とせず, 効果的かつ効率的に拒否できるようにVLMを誘導する。
• 参考スコア（独自算出の注目度）: 6.278770177156937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in processing and reasoning over diverse modalities, but their advanced abilities also raise significant privacy concerns, particularly regarding Personally Identifiable Information (PII) leakage. While relevant research has been conducted on single-modal language models to some extent, the vulnerabilities in the multimodal setting have yet to be fully investigated. In this work, we investigate these emerging risks with a focus on vision language models (VLMs), a representative subclass of MLLMs that covers the two modalities most relevant for PII leakage, vision and text. We introduce a concept-guided mitigation approach that identifies and modifies the model's internal states associated with PII-related content. Our method guides VLMs to refuse PII-sensitive tasks effectively and efficiently, without requiring re-training or fine-tuning. We also address the current lack of multimodal PII datasets by constructing various ones that simulate real-world scenarios. Experimental results demonstrate that the method can achieve an average refusal rate of 93.3% for various PII-related tasks with minimal impact on unrelated model performances. We further examine the mitigation's performance under various conditions to show the adaptability of our proposed method.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、様々なモダリティの処理と推論において顕著な能力を示してきたが、その高度な能力は、特にPII(Personally Identible Information)の漏洩に関して、重要なプライバシー上の懸念を引き起こす。 単一モーダル言語モデルに関する関連する研究はある程度行われているが、マルチモーダル設定の脆弱性については、まだ完全には研究されていない。 本研究では,PIIリーク,視覚,テキストに最も関係のある2つのモダリティをカバーするMLLMのサブクラスである視覚言語モデル(VLM)に着目して,これらの新興リスクについて検討する。 本稿では,PII関連コンテンツに関連するモデルの内部状態を同定し,修正する概念誘導緩和手法を提案する。 本手法は, PII感受性タスクを学習や微調整を必要とせず, 効果的かつ効率的に拒否できるようにVLMを誘導する。 また、実世界のシナリオをシミュレートする様々なデータセットを構築することで、現在のマルチモーダルPIIデータセットの欠如にも対処する。 実験結果から,PII関連タスクに対する平均拒絶率は93.3%であり,非関係モデルの性能への影響は最小限であることがわかった。 さらに,提案手法の適応性を示すため,様々な条件下での緩和性能について検討する。

関連論文リスト

• On Evaluating the Adversarial Robustness of Foundation Models for Multimodal Entity Linking [11.268639885321884]
  敵攻撃シナリオの相違により,メインストリームMELモデルのロバスト性を総合的に評価する。 5つのデータセットの実験では、LCM-RetLinkはMELの精度を0.4%-35.7%改善している。 この研究は、MELのロバスト性に関する未調査の側面を強調し、最初のMEL逆例データセットを構築し、リリースする。
  論文  参考訳（メタデータ） (2025-08-21T11:57:37Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• MLLM-CL: Continual Learning for Multimodal Large Language Models [62.90736445575181]
  ドメインと能力の連続学習を含む新しいベンチマークであるMLLM-CLを紹介する。 我々のアプローチは、ドメイン固有の知識と機能的能力とを最小限の忘れ込みで統合することができ、既存の手法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2025-06-05T17:58:13Z)
• Enhanced Multimodal Aspect-Based Sentiment Analysis by LLM-Generated Rationales [7.119479942471737]
  既存の方法は、画像とテキストの両方からアスペクトや感情に関連する情報を集めるために、事前訓練された小さな言語モデル(SLM)に依存している。 我々は,SLMの意思決定能力とMABSAのためのLLMが提供する付加情報を組み合わせた新しいフレームワークLRSAを提案する。
  論文  参考訳（メタデータ） (2025-05-20T15:28:26Z)
• A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
  基礎モデルの台頭は機械学習の研究に変化をもたらした。 マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。 本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
  論文  参考訳（メタデータ） (2025-02-22T20:55:26Z)
• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [56.08867996209236]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルな異種シナリオにおけるMLLMのファインチューニング性能を評価するためのベンチマークを提案する。 従来のFL手法を2つのモダリティに依存しない戦略と組み合わせた一般的なFedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• The Curse of Multi-Modalities: Evaluating Hallucinations of Large Multimodal Models across Language, Visual, and Audio [118.75449542080746]
  本稿では,大規模マルチモーダルモデル(LMM)における幻覚に関する最初の系統的研究について述べる。 本研究は,幻覚に対する2つの重要な要因を明らかにした。 私たちの研究は、モダリティ統合の不均衡やトレーニングデータからのバイアスなど、重要な脆弱性を強調し、モダリティ間のバランスの取れた学習の必要性を強調した。
  論文  参考訳（メタデータ） (2024-10-16T17:59:02Z)
• Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models [12.841405829775852]
  我々は、VidQAベンチマークとデータセットのバイアスを特定するために、MIS(Modality importance score)を導入する。 また,最新のMLLMを用いてモダリティの重要度を推定する手法を提案する。 以上の結果から,既存のデータセットでは,モダリティの不均衡による情報統合が効果的に行われていないことが示唆された。
  論文  参考訳（メタデータ） (2024-08-22T23:32:42Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。