論文の概要: Safe-LLaVA: A Privacy-Preserving Vision-Language Dataset and Benchmark for Biometric Safety

• arxiv url: http://arxiv.org/abs/2509.00192v1
• Date: Fri, 29 Aug 2025 18:54:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.121183
• Title: Safe-LLaVA: A Privacy-Preserving Vision-Language Dataset and Benchmark for Biometric Safety
• Title（参考訳）: Safe-LLaVA: バイオメトリック安全性のためのプライバシー保護型ビジョンランゲージデータセットとベンチマーク
• Authors: Younggun Kim, Sirnam Swetha, Fazil Kagdi, Mubarak Shah,
• Abstract要約: MLLM(Multimodal Large Language Models)は視覚言語タスクにおいて顕著な機能を示す。 これらのモデルは、明示的に要求されていなくても、人種、性別、年齢、体重、眼の色などの敏感な生体特性を推測し、明らかにする。 意識の高まりにもかかわらず、MLLMのバイオメトリックリークを包括的に評価または緩和するために、公開データセットやベンチマークは存在しない。
• 参考スコア（独自算出の注目度）: 43.17090130312271
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have demonstrated remarkable capabilities in vision-language tasks. However, these models often infer and reveal sensitive biometric attributes - such as race, gender, age, body weight, and eye color - even when such information is not explicitly requested. This raises critical concerns, particularly in real-world applications and socially-sensitive domains. Despite increasing awareness, no publicly available dataset or benchmark exists to comprehensively evaluate or mitigate biometric leakage in MLLMs. To address this gap, we introduce PRISM (Privacy-aware Evaluation of Responses in Sensitive Modalities), a new benchmark designed to assess MLLMs on two fronts: (1) refuse biometric-related queries and (2) implicit biometric leakage in general responses while maintaining semantic faithfulness. Further, we conduct a detailed audit of the widely used LLaVA datasets and uncover extensive biometric leakage across pretraining and instruction data. To address this, we present Safe-LLaVA dataset, the first privacy-preserving MLLM training dataset constructed by systematically removing explicit and implicit biometric information from LLaVA dataset. Our evaluations on PRISM reveal biometric leakages across MLLMs for different attributes, highlighting the detailed privacy-violations. We also fine-tune a model on Safe-LLaVA dataset and show that it substantially reduces the biometric leakages. Together, Safe-LLaVA & PRISM set a new standard for privacy-aligned development and evaluation of MLLMs. The Safe-LLaVA dataset & PRISM benchmark are publicly available at https://huggingface.co/datasets/kyh9191/Safe-LLaVA, and the source code is available at https://github.com/Kimyounggun99/Safe-LLaVA.git.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は視覚言語タスクにおいて顕著な機能を示す。 しかしながら、これらのモデルはしばしば、人種、性別、年齢、体重、眼の色など、明示的な情報が要求されていなくても、敏感な生体特性を推測し、明らかにする。 これにより、特に現実世界のアプリケーションや社会に敏感なドメインにおいて、重要な懸念が持ち上がる。 意識の高まりにもかかわらず、MLLMのバイオメトリックリークを包括的に評価または緩和するために、公開データセットやベンチマークは存在しない。 このギャップに対処するため,PRISM (Privacy-aware Evaluation of Responses in Sensitive Modalities) を新たに導入した。このベンチマークは,(1)バイオメトリック関連クエリを拒否し,(2)意味的忠実性を維持しつつ,一般応答における暗黙的なバイオメトリックリークを除去する。 さらに、広く使われているLLaVAデータセットの詳細な監査を行い、事前学習や指導データにまたがる広範囲な生体情報漏洩を明らかにする。 この問題を解決するために,LLaVAデータセットから明示的で暗黙的な生体情報を取り除いた,最初のプライバシ保護MLLMトレーニングデータセットであるSafe-LLaVAデータセットを提案する。 PRISMに対する評価では、MLLMのさまざまな属性に対するバイオメトリックリークが明らかとなり、プライバシー侵害の詳細が明らかになった。 また、Safe-LLaVAデータセットのモデルを微調整し、バイオメトリックスリークを大幅に低減することを示す。 Safe-LLaVAとPRISMは共に、MLLMのプライバシに準拠した開発と評価のための新しい標準を策定した。 Safe-LLaVAデータセットとPRISMベンチマークはhttps://huggingface.co/datasets/kyh9191/Safe-LLaVAで公開されており、ソースコードはhttps://github.com/Kimyounggun99/Safe-LLaVA.gitで公開されている。

関連論文リスト

• Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
  MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。 そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T09:03:51Z)
• Membership Inference Attacks against Large Vision-Language Models [40.996912464828696]
  大規模視覚言語モデル(VLLM)は、様々なアプリケーションシナリオにわたるマルチモーダルタスクを処理するための有望な能力を示す。 彼らの出現は、プライベート写真や医療記録などの機密情報を含む可能性があることを考えると、重要なデータセキュリティ上の懸念も引き起こす。 VLLMで不適切な使用データを検出することは、致命的かつ未解決な問題である。
  論文  参考訳（メタデータ） (2024-11-05T08:35:08Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• Evaluating LLM-based Personal Information Extraction and Countermeasures [63.91918057570824]
  大規模言語モデル(LLM)に基づく個人情報抽出をベンチマークすることができる。 LLMは攻撃者によって誤用され、個人プロファイルから様々な個人情報を正確に抽出する。 プロンプトインジェクションは強力なLDMベースの攻撃に対して防御し、攻撃をより効果的でない従来の攻撃に還元する。
  論文  参考訳（メタデータ） (2024-08-14T04:49:30Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。 既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。 本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• MLLMGuard: A Multi-dimensional Safety Evaluation Suite for Multimodal Large Language Models [39.97454990633856]
  本稿では,MLLMの多次元安全性評価スイートであるMLLMGuardを紹介する。 バイリンガル画像テキスト評価データセット、推論ユーティリティ、軽量評価器が含まれている。 13種類の先進モデルに対する評価結果は,MLLMが安全かつ責任を負うことができるまでには,まだかなりの道のりを歩んでいることを示唆している。
  論文  参考訳（メタデータ） (2024-06-11T13:41:33Z)
• Privacy Implications of Retrieval-Based Language Models [26.87950501433784]
  本稿では,検索に基づくLM,特に$k$NN-LMにおけるプライバシリスクに関する最初の研究について述べる。 パラメトリックモデルよりも、$k$NN-LMsの方がプライベートデータストアから個人情報をリークする可能性が高いことがわかりました。
  論文  参考訳（メタデータ） (2023-05-24T08:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。