論文の概要: PII-Bench: Evaluating Query-Aware Privacy Protection Systems

• arxiv url: http://arxiv.org/abs/2502.18545v1
• Date: Tue, 25 Feb 2025 14:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:56.698653
• Title: PII-Bench: Evaluating Query-Aware Privacy Protection Systems
• Title（参考訳）: PII-Bench:クエリ対応プライバシ保護システムの評価
• Authors: Hao Shen, Zhouhong Gu, Haokai Hong, Weili Han,
• Abstract要約: 本稿では,プライバシ保護システムを評価するための総合的な評価フレームワークであるPII-Benchを提案する。 PII-Benchは55の細粒度PIIカテゴリにまたがる2,842の試験サンプルから構成されており、単目的記述から複雑な多人数インタラクションまで多様なシナリオが特徴である。
• 参考スコア（独自算出の注目度）: 10.52362814808073
• License:
• Abstract: The widespread adoption of Large Language Models (LLMs) has raised significant privacy concerns regarding the exposure of personally identifiable information (PII) in user prompts. To address this challenge, we propose a query-unrelated PII masking strategy and introduce PII-Bench, the first comprehensive evaluation framework for assessing privacy protection systems. PII-Bench comprises 2,842 test samples across 55 fine-grained PII categories, featuring diverse scenarios from single-subject descriptions to complex multi-party interactions. Each sample is carefully crafted with a user query, context description, and standard answer indicating query-relevant PII. Our empirical evaluation reveals that while current models perform adequately in basic PII detection, they show significant limitations in determining PII query relevance. Even state-of-the-art LLMs struggle with this task, particularly in handling complex multi-subject scenarios, indicating substantial room for improvement in achieving intelligent PII masking.
• Abstract（参考訳）: LLM(Large Language Models)の普及により、ユーザプロンプトにおける個人識別可能な情報(PII)の露出に関するプライバシー上の懸念が高まっている。 この課題に対処するため,プライバシ保護システムを評価するための総合的な評価フレームワークであるPII-Benchを導入し,クエリ非関連なPIIマスキング戦略を提案する。 PII-Benchは55の細粒度PIIカテゴリにまたがる2,842の試験サンプルから構成されており、単目的記述から複雑な多人数インタラクションまで多様なシナリオが特徴である。 各サンプルは、クエリ関連PIIを示すユーザクエリ、コンテキスト記述、標準回答で慎重に作成される。 我々の経験的評価は、現在のモデルが基本的PII検出において適切に機能する一方で、PIIクエリの関連性を決定する上で重要な制限が示されることを示している。 最先端のLLMでさえ、特に複雑な多目的シナリオを扱うのに、このタスクに苦労している。

関連論文リスト

• A Tale of Two Imperatives: Privacy and Explainability [0.0]
  科学分野におけるディープラーニングの優位性は、高い意思決定を形作っている。 本稿では,RTP(Right-to-Privacy)とRTE(Right-to-Explanation)を組み合わせる複雑さについて検討する。
  論文  参考訳（メタデータ） (2024-12-30T08:43:28Z)
• A Review of Bayesian Uncertainty Quantification in Deep Probabilistic Image Segmentation [0.0]
  画像セグメンテーションの進歩は、ディープラーニングベースのコンピュータビジョンの幅広い範囲において重要な役割を担っている。 この文脈において不確かさの定量化が広く研究され、モデル無知(エピステミック不確実性)やデータあいまいさ(アラート不確実性)を表現し、不正な意思決定を防ぐことができる。
  論文  参考訳（メタデータ） (2024-11-25T13:26:09Z)
• PII-Scope: A Benchmark for Training Data PII Leakage Assessment in LLMs [8.98944128441731]
  LLMを対象としたPII抽出攻撃の最先端手法を評価するための総合ベンチマークであるPII-Scopeを紹介する。 我々は、より現実的な攻撃シナリオに研究を拡張し、高度な敵戦略を用いたPII攻撃を探索する。 PII抽出速度は,高度な対数能力とクエリ予算の制限により,事前学習モデルをターゲットにした場合,最大5倍に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-09T09:16:25Z)
• Comparing Feature-based and Context-aware Approaches to PII Generalization Level Prediction [0.6138671548064356]
  テキストデータのPIIはプライバシにとって重要であるが、現在の一般化手法では、不均一なデータ配信やコンテキスト認識の制限といった課題に直面している。 本稿では、構造化された入力の性能向上に機械学習を用いた特徴ベース手法と、原文と一般化された候補との間のより広い文脈と意味的関係を考慮したコンテキスト認識フレームワークを提案する。 WikiReplaceデータセットの実験では、両方の方法の有効性が示され、コンテキスト認識アプローチは、さまざまなスケールで機能ベースのものよりも優れています。
  論文  参考訳（メタデータ） (2024-07-03T06:32:03Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Improving Query-Focused Meeting Summarization with Query-Relevant Knowledge [71.14873115781366]
  本稿では,その課題に対処するため,知識認識要約器(KAS)と呼ばれる知識強化2段階のフレームワークを提案する。 最初の段階では、クエリ関連セグメント抽出を改善するために知識認識スコアを導入します。 第2段階では,クエリ関連知識を要約生成に取り入れる。
  論文  参考訳（メタデータ） (2023-09-05T10:26:02Z)
• ProPILE: Probing Privacy Leakage in Large Language Models [38.92840523665835]
  大規模言語モデル(LLM)は、しばしば大量のWebコンパイルデータに基づいて訓練される。 本稿では,PII リークの可能性を意識して,データ被写体や PII の所有者を支援する新しい探索ツールである ProPILE について述べる。
  論文  参考訳（メタデータ） (2023-07-04T18:53:47Z)
• Dual Semantic Knowledge Composed Multimodal Dialog Systems [114.52730430047589]
  本稿では,MDS-S2という新しいマルチモーダルタスク指向対話システムを提案する。 コンテキスト関連属性と関係知識を知識ベースから取得する。 また、合成された応答表現から意味情報を抽出するために、潜在クエリ変数のセットを考案する。
  論文  参考訳（メタデータ） (2023-05-17T06:33:26Z)
• Wild Face Anti-Spoofing Challenge 2023: Benchmark and Results [73.98594459933008]
  顔認証システム(FAS)は、顔認識システムの完全性を保護するための重要なメカニズムである。 この制限は、公開可能なFASデータセットの不足と多様性の欠如に起因する可能性がある。 制約のない環境で収集された大規模で多様なFASデータセットであるWild Face Anti-Spoofingデータセットを紹介した。
  論文  参考訳（メタデータ） (2023-04-12T10:29:42Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。