論文の概要: PrivaCI-Bench: Evaluating Privacy with Contextual Integrity and Legal Compliance

• arxiv url: http://arxiv.org/abs/2502.17041v1
• Date: Mon, 24 Feb 2025 10:49:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:12.127423
• Title: PrivaCI-Bench: Evaluating Privacy with Contextual Integrity and Legal Compliance
• Title（参考訳）: PrivaCI-Bench: コンテキスト整合性と法的コンプライアンスによるプライバシ評価
• Authors: Haoran Li, Wenbin Hu, Huihao Jing, Yulin Chen, Qi Hu, Sirui Han, Tianshu Chu, Peizhao Hu, Yangqiu Song,
• Abstract要約: 生成型大規模言語モデル(LLM)のコンテキストプライバシ評価ベンチマークであるPrivaCI-Benchを提案する。 本稿では,最近の推論モデルQwQ-32BとDeepseek R1を含む最新のLCMを評価した。 実験の結果、LLMは特定のコンテキスト内で重要なCIパラメータを効果的にキャプチャできるが、プライバシコンプライアンスのさらなる進歩が必要であることが示唆された。
• 参考スコア（独自算出の注目度）: 44.287734754038254
• License:
• Abstract: Recent advancements in generative large language models (LLMs) have enabled wider applicability, accessibility, and flexibility. However, their reliability and trustworthiness are still in doubt, especially for concerns regarding individuals' data privacy. Great efforts have been made on privacy by building various evaluation benchmarks to study LLMs' privacy awareness and robustness from their generated outputs to their hidden representations. Unfortunately, most of these works adopt a narrow formulation of privacy and only investigate personally identifiable information (PII). In this paper, we follow the merit of the Contextual Integrity (CI) theory, which posits that privacy evaluation should not only cover the transmitted attributes but also encompass the whole relevant social context through private information flows. We present PrivaCI-Bench, a comprehensive contextual privacy evaluation benchmark targeted at legal compliance to cover well-annotated privacy and safety regulations, real court cases, privacy policies, and synthetic data built from the official toolkit to study LLMs' privacy and safety compliance. We evaluate the latest LLMs, including the recent reasoner models QwQ-32B and Deepseek R1. Our experimental results suggest that though LLMs can effectively capture key CI parameters inside a given context, they still require further advancements for privacy compliance.
• Abstract（参考訳）: 生成型大規模言語モデル(LLM)の最近の進歩により、より広範な適用性、アクセシビリティ、柔軟性が実現されている。 しかし、特に個人のデータのプライバシーに関する懸念に対して、信頼性と信頼性は疑問視されている。 LLMのプライバシー意識と、生成された出力から隠れた表現への堅牢性を研究するために、様々な評価ベンチマークを構築することで、プライバシに多大な努力が払われている。 残念なことに、これらの作品の多くはプライバシーの厳密な定式化を採用しており、個人識別可能な情報のみを調査している(PII)。 本稿では,プライバシ評価が送信された属性だけでなく,プライベート情報フローを通じて関連する社会的コンテキスト全体を包含するべきだとする,コンテキスト整合性(CI)理論の利点に従う。 このベンチマークは、LLMのプライバシと安全性のコンプライアンスを研究するための公式ツールキットから構築された、十分に注釈されたプライバシと安全性の規則、実際の訴訟、プライバシポリシー、合成データをカバーするために、法的コンプライアンスをターゲットとした包括的なコンテキストプライバシ評価ベンチマークである。 本稿では,最近の推論モデルQwQ-32BとDeepseek R1を含む最新のLCMを評価した。 実験の結果、LLMは特定のコンテキスト内で重要なCIパラメータを効果的にキャプチャできるが、プライバシコンプライアンスのさらなる進歩が必要であることが示唆された。

関連論文リスト

• Multi-P$^2$A: A Multi-perspective Benchmark on Privacy Assessment for Large Vision-Language Models [65.2761254581209]
  LVLM(Large Vision-Language Models)21個のオープンソースと2個のクローズドソースのプライバシ保護機能の評価を行った。 Multi-P$2$Aに基づいて、21のオープンソースと2つのクローズドソースLVLMのプライバシ保護機能を評価する。 以上の結果から,現在のLVLMは一般にプライバシー侵害のリスクが高いことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-27T07:33:39Z)
• How Privacy-Savvy Are Large Language Models? A Case Study on Compliance and Privacy Technical Review [15.15468770348023]
  プライバシ情報抽出(PIE)、法および規制キーポイント検出(KPD)、質問応答(QA)などのプライバシー関連タスクにおいて、大規模言語モデルの性能を評価する。 本稿では, BERT, GPT-3.5, GPT-4, カスタムモデルなど, プライバシコンプライアンスチェックや技術プライバシレビューの実行能力について検討する。 LLMは、プライバシーレビューの自動化と規制上の相違点の特定を約束する一方で、法律標準の進化に完全に準拠する能力において、大きなギャップが持続している。
  論文  参考訳（メタデータ） (2024-09-04T01:51:37Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• GoldCoin: Grounding Large Language Models in Privacy Laws via Contextual Integrity Theory [44.297102658873726]
  これまでの研究では、さまざまなプライバシー攻撃、防御、評価を狭義に定義されたパターンの中で探索することで、プライバシを研究する。 我々は,プライバシ違反を評価する司法法において,LLMを効果的に活用するための新しい枠組みであるGoldCoinを紹介した。 我々のフレームワークは、コンテキスト整合性の理論をブリッジとして活用し、関連するプライバシー法に基づく多数の合成シナリオを作成する。
  論文  参考訳（メタデータ） (2024-06-17T02:27:32Z)
• No Free Lunch Theorem for Privacy-Preserving LLM Inference [30.554456047738295]
  本研究では,プライバシ保護型大規模言語モデル(LLM)を推定するためのフレームワークを開発する。 プライバシー保護とユーティリティの相互作用を調べるための、しっかりとした理論的基盤を築いている。
  論文  参考訳（メタデータ） (2024-05-31T08:22:53Z)
• PrivLM-Bench: A Multi-level Privacy Evaluation Benchmark for Language Models [42.20437015301152]
  言語モデル(LM)のプライバシー漏洩を評価するベンチマークであるPrivLM-Benchを提案する。 DPパラメータのみを報告するのではなく、PrivLM-Benchは実際の使用中に無視された推論データのプライバシに光を当てる。 メインストリームLMのためのGLUEの3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-11-07T14:55:52Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。