論文の概要: PIA-Bench: Towards Automated Privacy Impact Assessment with Large Language Models
- arxiv url: http://arxiv.org/abs/2609.12571v1
- Date: Fri, 11 Sep 2026 08:16:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.67937
- Title: PIA-Bench: Towards Automated Privacy Impact Assessment with Large Language Models
- Title（参考訳）: PIA-Bench: 大規模言語モデルによる自動プライバシ影響評価を目指して
- Abstract要約: PIA-Benchは,大規模言語モデル(LLM)を実世界のPIA上で評価するための最初のオープンベンチマークである。
われわれはまず、米国連邦機関が発行した499件の専門家によるPIAを監査し、合計451件のプライバシーリスクと831件の緩和項目を含む73件の構造化PIAを治療した。
この結果から,市販のLCMは有意義な評価を行い,今後の改善の道筋を見出すことができた。
- 参考スコア（独自算出の注目度）: 6.445889502133657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy impact assessment (PIA) is a critical instrument for institutions to proactively identify privacy risks and develop mitigation strategies before system deployment. While mandated across regulatory and institutional contexts, executing PIA requires extensive privacy and technical expertise, posing a particular challenge for teams without access to such resources. Prior work shows the potential of leveraging large language models (LLMs) to assist practitioners' privacy decisions, but little is known about how accurately and reliably LLMs can automate PIA. To this end, we develop PIA-Bench, the first open benchmark for evaluating LLMs on real-world PIAs. We first audited 499 expert-authored PIAs published by US federal agencies and curated 73 structured PIAs, comprising a total of 451 privacy risk and 831 mitigation items, to evaluate LLMs' ability to assess privacy risks and propose mitigations of complex systems. Our results show that off-the-shelf LLMs produce meaningful assessments and identify avenues for future improvement. Finally, we call for improving domain-specific workflows for LLM agents, developing accountable LLM infrastructure, and designing new quality standards for PIAs.
- Abstract（参考訳）: プライバシ・インパクト・アセスメント(PIA)は、プライバシのリスクを積極的に識別し、システム展開前に緩和戦略を開発するための重要な手段である。
規制や機関のコンテキストに委ねられているが、PIAの実行には広範なプライバシと技術的専門知識が必要であり、そのようなリソースにアクセスできないチームにとって特別な課題となる。
以前の研究は、大規模言語モデル(LLM)を活用して実践者のプライバシー決定を支援する可能性を示しているが、LLMがPIAをいかに正確かつ確実に自動化できるかは分かっていない。
この目的のために,実世界のPIA上でのLPM評価のための最初のオープンベンチマークであるPIA-Benchを開発した。
われわれはまず、米国連邦機関が発行した499人の専門家によるPIAを監査し、合計451件のプライバシーリスクと831件の緩和項目を含む73件の構造化PIAを治療し、LSMのプライバシーリスクを評価する能力を評価し、複雑なシステムの軽減を提案する。
この結果から,市販のLCMは有意義な評価を行い,今後の改善の道筋を見出すことができた。
最後に, LLMエージェントのドメイン固有ワークフローの改善, 説明責任なLLMインフラストラクチャの開発, PIAの新たな品質基準の策定について述べる。
関連論文リスト
- ContextLens: Modeling Imperfect Privacy and Safety Context for Legal Compliance [49.524070843587594]
本研究では,大規模言語モデル(LLM)を活用し,法的領域における入力コンテキストを基盤とするセミルールベースのフレームワークであるContextLensを提案する。
我々は、General Data Protection Regulation()とEU AI Actをカバーする既存のコンプライアンスベンチマークの実験を行います。
その結果、ContextLensはLLMのコンプライアンス評価を大幅に改善し、トレーニングなしで既存のベースラインを越えられることが示唆された。
論文 参考訳（メタデータ） (2026-04-14T05:35:38Z) - PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction [0.7421845364041001]
非構造化テキストからのPII(Personally Identible Information)のリアクションは、規制されたドメインにおけるデータのプライバシを確保するために重要である。
大規模言語モデル(LLM)の最近の進歩は、有望な代替手段を提供する。
プライバシ保護型PIIリアクションシステムとしてLLMを包括的に分析する。
我々はPRvLをリリースした。PRvLは細調整されたモデルと汎用PIIリアクションのための評価ツールである。
論文 参考訳（メタデータ） (2025-08-07T16:22:49Z) - PBa-LLM: Privacy- and Bias-aware NLP using Named-Entity Recognition (NER) [45.870212237420226]
本研究では,Large Language Models(LLMs)のプライバシ保護トレーニングを容易にするために,NER(Named-Entity Recognition)の使用について検討する。
我々は,NER技術を用いて個人識別や地理的位置情報などのテキストデータ中の機密情報を匿名化するフレームワークを提案する。
この研究は2つの言語モデル(BERTとRoBERTa)と6つの匿名化アルゴリズム(Presidio、FLAIR、BERT、および異なるバージョンのGPT)を24,000の候補プロファイルのデータベースに適用した。
論文 参考訳（メタデータ） (2025-06-30T14:42:49Z) - Communication-Efficient and Privacy-Adaptable Mechanism for Federated Learning [54.20871516148981]
通信効率・プライバシー適応メカニズム(CEPAM)について紹介する。
CEPAMは通信効率とプライバシー保護を同時に達成する。
我々は、CEPAMのプライバシー保証を理論的に分析し、CEPAMのユーザプライバシと正確性の間のトレードオフを調査する。
論文 参考訳（メタデータ） (2025-01-21T11:16:05Z) - Powering LLM Regulation through Data: Bridging the Gap from Compute Thresholds to Customer Experiences [0.0]
本稿では,計算レベルのしきい値と一般化モデル評価に着目した現在の規制手法は,特定のLCMベースのユーザエクスペリエンスの安全性と有効性を保証するには不十分である,と論じる。
本稿では,ユーザによる実際の体験と評価のための高品質データセットのキュレーションを中心とした認定プロセスへの移行を提案する。
論文 参考訳（メタデータ） (2025-01-12T16:20:40Z) - Privacy-Preserving Customer Support: A Framework for Secure and Scalable Interactions [0.0]
本稿では,大規模言語モデル(LLM)をゼロショット学習モードで活用する新しいアプローチとして,プライバシー保護ゼロショット学習(PP-ZSL)フレームワークを提案する。
従来の機械学習手法とは異なり、PP-ZSLは、事前学習されたLLMを使用して直接応答を生成することで、機密データに対する局所的なトレーニングを不要にしている。
このフレームワークには、リアルタイムデータ匿名化による機密情報の修正やマスク、ドメイン固有のクエリ解決のための検索強化生成(RAG)、規制基準の遵守を保証するための堅牢な後処理が含まれている。
論文 参考訳（メタデータ） (2024-12-10T17:20:47Z) - How Privacy-Savvy Are Large Language Models? A Case Study on Compliance and Privacy Technical Review [15.15468770348023]
プライバシ情報抽出(PIE)、法および規制キーポイント検出(KPD)、質問応答(QA)などのプライバシー関連タスクにおいて、大規模言語モデルの性能を評価する。
本稿では, BERT, GPT-3.5, GPT-4, カスタムモデルなど, プライバシコンプライアンスチェックや技術プライバシレビューの実行能力について検討する。
LLMは、プライバシーレビューの自動化と規制上の相違点の特定を約束する一方で、法律標準の進化に完全に準拠する能力において、大きなギャップが持続している。
論文 参考訳（メタデータ） (2024-09-04T01:51:37Z) - LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。
この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。
本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文 参考訳（メタデータ） (2024-08-23T01:37:29Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳（メタデータ） (2024-07-23T15:31:26Z) - Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。
我々の調査は、この信念に対する重大な監視を露呈している。
我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文 参考訳（メタデータ） (2024-04-16T13:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。