論文の概要: Multi-P$^2$A: A Multi-perspective Benchmark on Privacy Assessment for Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2412.19496v1
• Date: Fri, 27 Dec 2024 07:33:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:27:20.685955
• Title: Multi-P$^2$A: A Multi-perspective Benchmark on Privacy Assessment for Large Vision-Language Models
• Title（参考訳）: Multi-P$^2$A: 大規模視覚言語モデルのプライバシアセスメントに関するマルチパースペクティブベンチマーク
• Authors: Jie Zhang, Xiangkui Cao, Zhouyu Han, Shiguang Shan, Xilin Chen,
• Abstract要約: LVLM(Large Vision-Language Models)21個のオープンソースと2個のクローズドソースのプライバシ保護機能の評価を行った。 Multi-P$2$Aに基づいて、21のオープンソースと2つのクローズドソースLVLMのプライバシ保護機能を評価する。 以上の結果から,現在のLVLMは一般にプライバシー侵害のリスクが高いことが明らかとなった。
• 参考スコア（独自算出の注目度）: 65.2761254581209
• License:
• Abstract: Large Vision-Language Models (LVLMs) exhibit impressive potential across various tasks but also face significant privacy risks, limiting their practical applications. Current researches on privacy assessment for LVLMs is limited in scope, with gaps in both assessment dimensions and privacy categories. To bridge this gap, we propose Multi-P$^2$A, a comprehensive benchmark for evaluating the privacy preservation capabilities of LVLMs in terms of privacy awareness and leakage. Privacy awareness measures the model's ability to recognize the privacy sensitivity of input data, while privacy leakage assesses the risk of the model unintentionally disclosing privacy information in its output. We design a range of sub-tasks to thoroughly evaluate the model's privacy protection offered by LVLMs. Multi-P$^2$A covers 26 categories of personal privacy, 15 categories of trade secrets, and 18 categories of state secrets, totaling 31,962 samples. Based on Multi-P$^2$A, we evaluate the privacy preservation capabilities of 21 open-source and 2 closed-source LVLMs. Our results reveal that current LVLMs generally pose a high risk of facilitating privacy breaches, with vulnerabilities varying across personal privacy, trade secret, and state secret.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、様々なタスクにまたがる優れたポテンシャルを示すと同時に、プライバシのリスクにも直面し、実用的アプリケーションを制限する。 LVLMのプライバシーアセスメントに関する現在の研究は範囲が限られており、評価範囲とプライバシカテゴリの両方にギャップがある。 このギャップを埋めるため,LVLMのプライバシー保護能力を評価するための総合的なベンチマークであるMulti-P$^2$Aを提案する。 プライバシ認識は、入力データのプライバシ感受性を認識するモデルの能力を測定する一方で、プライバシリークは、出力内のプライバシ情報を意図せずに開示するモデルのリスクを評価する。 我々は,LVLMによって提供されるモデルのプライバシ保護を徹底的に評価するために,様々なサブタスクを設計する。 Multi-P$^2$Aは、26の個人プライバシー、15の企業秘密、および18の州秘密をカバーし、合計31,962のサンプルがある。 Multi-P$^2$Aに基づいて、21のオープンソースと2つのクローズドソースLVLMのプライバシー保護能力を評価する。 我々の結果は、現在のLVLMは一般的にプライバシー侵害を助長するリスクが高く、その脆弱性は個人のプライバシー、取引秘密、州秘密によって様々であることを示している。

関連論文リスト

• Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions [11.338466798715906]
  細調整された大規模言語モデル(LLM)は、様々な領域で最先端のパフォーマンスを達成することができる。 本稿では、微調整LDMに関連するプライバシー問題に関する包括的調査を行う。 メンバーシップ推論、データ抽出、バックドア攻撃など、さまざまなプライバシ攻撃に対する脆弱性を強調します。
  論文  参考訳（メタデータ） (2024-12-21T06:41:29Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• No Free Lunch Theorem for Privacy-Preserving LLM Inference [30.554456047738295]
  本研究では,プライバシ保護型大規模言語モデル(LLM)を推定するためのフレームワークを開発する。 プライバシー保護とユーティリティの相互作用を調べるための、しっかりとした理論的基盤を築いている。
  論文  参考訳（メタデータ） (2024-05-31T08:22:53Z)
• PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
  言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。 DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。 メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T14:55:52Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• Privacy in Large Language Models: Attacks, Defenses and Future Directions [84.73301039987128]
  大規模言語モデル(LLM)を対象とした現在のプライバシ攻撃を分析し、敵の想定能力に応じて分類する。 本稿では、これらのプライバシー攻撃に対抗するために開発された防衛戦略について概説する。
  論文  参考訳（メタデータ） (2023-10-16T13:23:54Z)
• Privacy in Practice: Private COVID-19 Detection in X-Ray Images (Extended Version) [3.750713193320627]
  私たちは、差分プライバシー(DP)を満たす機械学習モデルを作成します。 我々は、ユーティリティとプライバシのトレードオフをより広範囲に評価し、より厳格なプライバシー予算について検討する。 以上の結果から,MIAの課題依存的実践的脅威によって,必要なプライバシーレベルが異なる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-11-21T13:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。