論文の概要: DePrompt: Desensitization and Evaluation of Personal Identifiable Information in Large Language Model Prompts

• arxiv url: http://arxiv.org/abs/2408.08930v1
• Date: Fri, 16 Aug 2024 02:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-20 23:26:14.974347
• Title: DePrompt: Desensitization and Evaluation of Personal Identifiable Information in Large Language Model Prompts
• Title（参考訳）: DePrompt:大規模言語モデルにおける個人識別情報の脱感作と評価
• Authors: Xiongtao Sun, Gan Liu, Zhipeng He, Hui Li, Xiaoguang Li,
• Abstract要約: DePromptは、プロンプトのための脱感作保護および有効性評価フレームワークである。 我々は、コンテキスト属性を統合し、プライバシタイプを定義し、高精度なPIIエンティティ識別を実現する。 私たちのフレームワークはプロンプトに適応可能で、テキストのユーザビリティに依存したシナリオに拡張できます。
• 参考スコア（独自算出の注目度）: 11.883785681042593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt serves as a crucial link in interacting with large language models (LLMs), widely impacting the accuracy and interpretability of model outputs. However, acquiring accurate and high-quality responses necessitates precise prompts, which inevitably pose significant risks of personal identifiable information (PII) leakage. Therefore, this paper proposes DePrompt, a desensitization protection and effectiveness evaluation framework for prompt, enabling users to safely and transparently utilize LLMs. Specifically, by leveraging large model fine-tuning techniques as the underlying privacy protection method, we integrate contextual attributes to define privacy types, achieving high-precision PII entity identification. Additionally, through the analysis of key features in prompt desensitization scenarios, we devise adversarial generative desensitization methods that retain important semantic content while disrupting the link between identifiers and privacy attributes. Furthermore, we present utility evaluation metrics for prompt to better gauge and balance privacy and usability. Our framework is adaptable to prompts and can be extended to text usability-dependent scenarios. Through comparison with benchmarks and other model methods, experimental evaluations demonstrate that our desensitized prompt exhibit superior privacy protection utility and model inference results.
• Abstract（参考訳）: Promptは、大規模言語モデル(LLM)との相互作用において重要なリンクとして機能し、モデル出力の精度と解釈可能性に大きな影響を及ぼす。 しかし、正確で高品質な応答を取得するには正確なプロンプトが必要であるため、必然的に個人識別情報(PII)漏洩の重大なリスクが生じる。 そこで本稿では, 利用者が安全かつ透過的にLDMを利用できるようにするためのデセンシタイズ保護・有効性評価フレームワークであるDePromptを提案する。 具体的には,プライバシ保護手法として大規模モデルの微調整技術を活用することで,コンテキスト属性を統合してプライバシタイプを定義し,高精度なPIIエンティティ識別を実現する。 さらに,素早い脱感作シナリオにおける重要な特徴の分析を通じて,識別子とプライバシ属性のリンクを乱しながら重要な意味的内容を保持する逆生成脱感作手法を考案した。 さらに,プライバシとユーザビリティのバランスを改善するためのユーティリティ評価指標を提案する。 私たちのフレームワークはプロンプトに適応可能で、テキストのユーザビリティに依存したシナリオに拡張できます。 ベンチマークや他のモデル手法との比較により,我々の脱感作が優れたプライバシ保護ユーティリティとモデル推論結果を示すことを示す実験結果が得られた。

関連論文リスト

• Towards Benchmarking Privacy Vulnerabilities in Selective Forgetting with Large Language Models [28.389198065125314]
  選択的な忘れ(マシンアンラーニングとも呼ばれる)は、プライバシとデータ削除タスクの約束を示している。 その約束にもかかわらず、選択的な忘れ物はプライバシーの懸念を生じさせる。 プライバシの脆弱性を選択的に評価するための、最初の包括的なベンチマークを示す。
  論文  参考訳（メタデータ） (2025-12-19T20:04:06Z)
• Beyond Verification: Abductive Explanations for Post-AI Assessment of Privacy Leakage [4.6453787256723365]
  帰納的説明を用いてプライバシー漏洩を監査するための形式的枠組みを提案する。 我々のフレームワークは個人レベルのリークとシステムレベルのリークの両方を形式化する。 このアプローチは、人間の理解可能な説明を生み出しながら、厳格なプライバシー保証を提供する。
  論文  参考訳（メタデータ） (2025-11-13T13:14:24Z)
• Semantically-Aware LLM Agent to Enhance Privacy in Conversational AI Services [0.0]
  遠隔Large Language Models (LLM) を用いた場合, センシティブなPIIデータを保護するためのセマンティック・アウェア・プライバシ・エージェントを提案する。 応答品質を劣化させるような以前の作業とは異なり、我々のアプローチはユーザプロンプトのセンシティブなPIIエンティティを意味的に一貫した名前で動的に置き換える。 この結果から,LOPSIDEDは基本手法と比較して意味的ユーティリティエラーを5倍に削減できることがわかった。
  論文  参考訳（メタデータ） (2025-10-30T21:34:23Z)
• VoxGuard: Evaluating User and Attribute Privacy in Speech via Membership Inference Attacks [51.68795949691009]
  差分プライバシとメンバシップ推論に基づくフレームワークであるVoxGuardを紹介した。 属性については, 匿名化後も, 性別やアクセントをほぼ完全精度で再現できることが示唆された。 以上の結果から,EERはリークを著しく過小評価し,低FPR評価の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-09-22T20:57:48Z)
• Evaluating Language Model Reasoning about Confidential Information [95.64687778185703]
  言語モデルが文脈的堅牢性を示すか、文脈依存型安全仕様に準拠する能力を示すかを検討する。 我々は,ユーザ要求がいつ承認されたか,言語モデルが正しく判断できるかどうかを測定するベンチマーク(PasswordEval)を開発した。 現在のオープンソースとクローズドソースのモデルでは、一見単純な作業に苦労しています。
  論文  参考訳（メタデータ） (2025-08-27T15:39:46Z)
• RL-Finetuned LLMs for Privacy-Preserving Synthetic Rewriting [17.294176570269]
  本稿では,複合報酬関数を用いた大規模言語モデル(LLM)を微調整する強化学習フレームワークを提案する。 プライバシ報酬は、セマンティックキューと、潜伏表現上の最小スパンニングツリー(MST)から派生した構造パターンを組み合わせる。 実験の結果,提案手法はセマンティック品質を劣化させることなく,著者の難読化とプライバシーの指標を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-25T04:38:19Z)
• SoK: Semantic Privacy in Large Language Models [24.99241770349404]
  本稿では,大規模言語モデル(LLM)の入力処理,事前学習,微調整,アライメント段階におけるセマンティックプライバシリスクを分析するライフサイクル中心のフレームワークを提案する。 我々は、鍵攻撃ベクトルを分類し、差分プライバシー、埋め込み暗号化、エッジコンピューティング、未学習などの現在の防御がこれらの脅威にどのように対処しているかを評価する。 セマンティックリークの定量化、マルチモーダル入力の保護、生成品質との非識別性のバランス、プライバシー保護の透明性確保など、オープンな課題の概要をまとめて結論付けます。
  論文  参考訳（メタデータ） (2025-06-30T08:08:15Z)
• Privacy Reasoning in Ambiguous Contexts [4.766316946591749]
  適切な情報開示を推論する言語モデルの能力について検討する。 我々は、プライバシーアセスメントにおいて、コンテキストあいまいさをハイパフォーマンスの重要な障壁とみなす。
  論文  参考訳（メタデータ） (2025-06-13T21:42:22Z)
• Privacy-Aware, Public-Aligned: Embedding Risk Detection and Public Values into Scalable Clinical Text De-Identification for Trusted Research Environments [0.0]
  直接的および間接的識別子がレコードタイプ,臨床設定,データフローによってどのように変化するかを示し,ドキュメントの実践の変化が時間とともにモデルのパフォーマンスを低下させるかを示す。 われわれの調査結果は、プライバシーリスクは文脈に依存し、累積的であり、適応的でハイブリッドな非識別アプローチの必要性を強調している。
  論文  参考訳（メタデータ） (2025-06-01T17:45:57Z)
• A False Sense of Privacy: Evaluating Textual Data Sanitization Beyond Surface-level Privacy Leakage [77.83757117924995]
  我々は、データリリース時の個人のプライバシーリスクを定量化するために、再識別攻撃を評価する新しいフレームワークを提案する。 本手法は, 衛生データから年齢や物質使用履歴などのセンシティブな属性を推測するために, 一見無害な補助情報を利用できることを示す。
  論文  参考訳（メタデータ） (2025-04-28T01:16:27Z)
• REVAL: A Comprehension Evaluation on Reliability and Values of Large Vision-Language Models [59.445672459851274]
  REVALは、Large Vision-Language Modelsの textbfREliability と textbfVALue を評価するために設計された包括的なベンチマークである。 REVALには144K以上の画像テキストビジュアル質問回答(VQA)サンプルが含まれており、信頼性と価値の2つの主要なセクションで構成されている。 主流のオープンソースLVLMや,GPT-4oやGemini-1.5-Proといった著名なクローズドソースモデルを含む26のモデルを評価した。
  論文  参考訳（メタデータ） (2025-03-20T07:54:35Z)
• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
  マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました 埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。 提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Privacy-Enhanced Adaptive Authentication: User Profiling with Privacy Guarantees [0.6554326244334866]
  本稿では,プライバシ強化型アダプティブ認証プロトコルを提案する。 リアルタイムリスクアセスメントに基づいて認証要求を動的に調整する。 CCPAなどのデータ保護規則を遵守することにより,セキュリティを向上するだけでなく,ユーザの信頼も向上する。
  論文  参考訳（メタデータ） (2024-10-27T19:11:33Z)
• ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
  ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。 我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2024-10-16T09:38:13Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Differential Privacy for Anomaly Detection: Analyzing the Trade-off Between Privacy and Explainability [4.844901225743574]
  我々は、SHAP(SHapley Additive ExPlanations)とDP(差分プライバシー)による説明可能なAI(XAI)の適用のトレードオフを利用する。 以上の結果から,DPによるプライバシの実施が検出精度と説明可能性に重大な影響があることが示唆された。 さらに,説明文の視覚的解釈は,ADアルゴリズムの選択にも影響されていることを示す。
  論文  参考訳（メタデータ） (2024-04-09T09:09:36Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Why Should I Trust a Model is Private? Using Shifts in Model Explanation for Evaluating Privacy-Preserving Emotion Recognition Model [35.016050900061]
  本稿では,モデルの有効性を評価するために解釈可能な手法を用いることに焦点をあてる。 プライバシーを守るための一般的な方法が、プライバシー保護の人間の認識とどのように一致しないかを示します。 評価者の傾きを評価し、特定のタスクのモデルを選択するためのクラウドソーシング実験を行います。
  論文  参考訳（メタデータ） (2021-04-18T09:56:41Z)
• Beyond The Text: Analysis of Privacy Statements through Syntactic and Semantic Role Labeling [12.74252812104216]
  本稿では,プライバシポリシからコンテキスト整合性(Contextual Integrity)のレンズを通じて,プライバシパラメータを抽出する新たなタスクを定式化する。 最近提案された質問応答に基づくソリューションを含む従来のNLPタスクは、プライバシパラメータ抽出の問題に対処するには不十分であることを示す。
  論文  参考訳（メタデータ） (2020-10-01T20:48:37Z)
• Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach [54.32266555843765]
  本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。 この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
  論文  参考訳（メタデータ） (2020-09-26T10:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。