論文の概要: PANOPTICON: A PII-Based Assemblage of Naturalistic Output Tokens for Investigating Privacy Leakage Within LLM Context Window
- arxiv url: http://arxiv.org/abs/2607.22695v1
- Date: Fri, 17 Jul 2026 17:23:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.030841
- Title: PANOPTICON: A PII-Based Assemblage of Naturalistic Output Tokens for Investigating Privacy Leakage Within LLM Context Window
- Title(参考訳): PANOPTICON: LLMコンテキストウィンドウ内のプライバシ漏洩を調査するための自然主義的出力トークンのPIIベースのアセンブリ
- Abstract要約: LLM(Large Language Models)は、人間の言語を一般化して、目に見えないタスクを完了させる機能である。
これらのタスクはPII(Personally Identible Information)の挿入を必要とすることが多い。
我々はPANOPTICONパイプラインとデータセットを導入し,9,674件の公開合成ユーザプロファイルからPIIスパンを含む。
- 参考スコア(独自算出の注目度): 0.49703640686206074
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are capable of generalizing human language for the completion of never-before-seen tasks, leading to widespread deployment. While this automation provides clear utility, completing these tasks often requires the insertion of Personally Identifiable Information (PII), strings of information that uniquely identify some individual, raising privacy concerns. However, ethics has prevented the curation of a public, authentic dataset of PII. Without an appropriate dataset, it is difficult to quantify privacy risks. Thus, we introduce the PANOPTICON pipeline and dataset. The dataset, generated by Meta's Llama-3.1-8B-Instruct model, contains 67, 718 prompts, intended for the models context window, containing PII spans derived from 9,674 publicly available synthetic user profiles. We measure lexical diversity and S-BERT diversity of the created dataset to evaluate realism. Finally, we present a case study showcasing the utility of PANOPTICON data for understanding Prompt Inversion Attacks (PIAs). PANOPTICON thus emerges as the first benchmark dataset for studying PIAs over private corpora, providing a foundation for future LLM privacy research.
- Abstract(参考訳): LLM(Large Language Models)は、予期せぬタスクを完了させるために、人間の言語を一般化する能力を持つ。
この自動化は明確なユーティリティを提供するが、これらのタスクを完了させるには、個人をユニークに識別する一連の情報であるPII(Personally Identible Information)を挿入する必要がある。
しかし、倫理学は公衆の真正なPIIデータセットのキュレーションを妨げている。
適切なデータセットがなければ、プライバシのリスクを定量化するのは難しい。
そこで本研究では,PANOPTICONパイプラインとデータセットについて紹介する。
MetaのLlama-3.1-8B-Instructモデルで生成されたデータセットには67,718のプロンプトが含まれており、9,674の公開合成ユーザプロファイルから派生したPIIスパンを含んでいる。
生成したデータセットの語彙の多様性とS-BERTの多様性を測定し,リアリズムを評価する。
最後に,PIA(Prompt Inversion Attacks)の理解のためのPANOPTICONデータの有用性を示すケーススタディを提案する。
したがってPANOPTICONは、プライベートコーパス上のPIAを研究するための最初のベンチマークデータセットとして登場し、将来のLCMプライバシ研究の基礎を提供する。
関連論文リスト
- Beyond Direct Identifiers: Probabilistic Privacy Risk Estimation for Privacy-Conscious LLM Query Delegation [20.31515213689976]
プライバシーリスクは、明示的な識別子だけでなく、PIIのない自己開示にも起因している。
プライバシ・Conscious Delegation(プライバシ・コンセント・デリゲーション)に対処するための有用な補助指標としてk匿名性を提案する。
論文 参考訳(メタデータ) (2026-08-10T05:38:28Z) - IDP-Bench: Benchmarking ability of LLMs to protect personal information in interdependent privacy contexts [15.026169063578697]
大規模言語モデル(LLM)は、機密性の高いユーザデータにアクセス可能なパーソナルAIアシスタントとして広くデプロイされている。
それまでの研究は主に個人レベルのリスクに焦点が当てられていたが、これはテキスタイルに依存したプライバシー(IDP:textbfinterdependent privacy)を見落としている。
IDP シナリオのための最初の LLM ベンチマークである textbfIDP-Bench を Contextual Integrity (CI) フレームワークに基づいて紹介する。
論文 参考訳(メタデータ) (2026-06-06T07:59:08Z) - Profiling for Pennies: Unveiling the Privacy Iceberg of LLM Agents [52.02752011119451]
我々は人間の意識のレンズを通して現実世界におけるプライバシーの認識を調査する。
我々は、現実世界の人間のプライバシーリスクを3段階に分類するPrivacyIcebergを提案する。
論文 参考訳(メタデータ) (2026-05-07T13:21:44Z) - CAPID: Context-Aware PII Detection for Question-Answering Systems [2.538582648751871]
CAPIDは、ローカルに所有する小型言語モデル(SLM)を微調整し、QAのためにLLMに渡される前に機密情報をフィルタリングする実践的手法である。
既存のデータセットは、そのようなモデルを効果的に訓練するために必要なPIIの文脈依存の関連性を捉えていない。
実験の結果,細調整SLMを用いたPII検出は,既存のベースラインのスパン,関連性,型精度を大きく上回ることがわかった。
論文 参考訳(メタデータ) (2026-02-10T18:41:31Z) - How to DP-fy Your Data: A Practical Guide to Generating Synthetic Data With Differential Privacy [52.00934156883483]
Differential Privacy(DP)は、情報漏洩を推論し、制限するフレームワークである。
Differentially Private Synthetic Dataは、ソースデータの全体的なトレンドを保存する合成データを指す。
論文 参考訳(メタデータ) (2025-12-02T21:14:39Z) - Safe-LLaVA: A Privacy-Preserving Vision-Language Dataset and Benchmark for Biometric Safety [43.17090130312271]
MLLM(Multimodal Large Language Models)は視覚言語タスクにおいて顕著な機能を示す。
これらのモデルは、人種、性別、年齢、体重、眼の色などの敏感な生体特性を推測し、明らかにすることが多い。
意識の高まりにもかかわらず、MLLMのバイオメトリックリークを包括的に評価または緩和するために、公開データセットやベンチマークは存在しない。
論文 参考訳(メタデータ) (2025-08-29T18:54:57Z) - MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。
まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。
次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
論文 参考訳(メタデータ) (2025-06-25T18:04:25Z) - PANORAMA: A synthetic PII-laced dataset for studying sensitive data memorization in LLMs [0.0]
機密情報と個人識別情報の記憶は プライバシーのリスクを増大させる
センシティブなPIIデータを記憶し、緩和戦略を開発するための既存の取り組みは、現実的なデータセットの欠如によって妨げられている。
本稿では,自然主義的オンライン表現と属性記憶分析のためのプロファイルベースのアセンブラであるPANORAMAを紹介する。
論文 参考訳(メタデータ) (2025-05-18T05:27:35Z) - PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。
プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。
GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
論文 参考訳(メタデータ) (2024-08-29T17:58:38Z) - Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
機密情報を含む匿名化は、幅広いアプリケーションにとって不可欠である。
既存の技術は、大規模言語モデルの再識別能力の新たな課題に直面している。
本稿では,プライバシ評価器,ユーティリティ評価器,最適化コンポーネントの3つの重要なコンポーネントで構成されるフレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-16T14:28:56Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳(メタデータ) (2024-07-01T18:58:22Z) - PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。
我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。
特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
論文 参考訳(メタデータ) (2023-10-03T22:37:01Z) - ProPILE: Probing Privacy Leakage in Large Language Models [38.92840523665835]
大規模言語モデル(LLM)は、しばしば大量のWebコンパイルデータに基づいて訓練される。
本稿では,PII リークの可能性を意識して,データ被写体や PII の所有者を支援する新しい探索ツールである ProPILE について述べる。
論文 参考訳(メタデータ) (2023-07-04T18:53:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。