論文の概要: Automated Privacy Information Annotation in Large Language Model Interactions

• arxiv url: http://arxiv.org/abs/2505.20910v1
• Date: Tue, 27 May 2025 09:00:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.530716
• Title: Automated Privacy Information Annotation in Large Language Model Interactions
• Title（参考訳）: 大規模言語モデルインタラクションにおける自動プライバシ情報アノテーション
• Authors: Hang Zeng, Xiangyu Liu, Yong Hu, Chaoyue Niu, Fan Wu, Shaojie Tang, Guihai Chen,
• Abstract要約: 実際の識別子の下で大きな言語モデル(LLM)と対話するユーザは、プライベート情報の開示を無意識にリスクを負うことが多い。 既存のプライバシ検出方法は、異なる目的とアプリケーションシナリオのために設計されました。 249Kのユーザクエリと154Kの注釈付きプライバシフレーズを備えた大規模多言語データセットを構築した。
• 参考スコア（独自算出の注目度）: 40.87806981624453
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Users interacting with large language models (LLMs) under their real identifiers often unknowingly risk disclosing private information. Automatically notifying users whether their queries leak privacy and which phrases leak what private information has therefore become a practical need. Existing privacy detection methods, however, were designed for different objectives and application scenarios, typically tagging personally identifiable information (PII) in anonymous content. In this work, to support the development and evaluation of privacy detection models for LLM interactions that are deployable on local user devices, we construct a large-scale multilingual dataset with 249K user queries and 154K annotated privacy phrases. In particular, we build an automated privacy annotation pipeline with cloud-based strong LLMs to automatically extract privacy phrases from dialogue datasets and annotate leaked information. We also design evaluation metrics at the levels of privacy leakage, extracted privacy phrase, and privacy information. We further establish baseline methods using light-weight LLMs with both tuning-free and tuning-based methods, and report a comprehensive evaluation of their performance. Evaluation results reveal a gap between current performance and the requirements of real-world LLM applications, motivating future research into more effective local privacy detection methods grounded in our dataset.
• Abstract（参考訳）: 実際の識別子の下で大きな言語モデル(LLM)と対話するユーザは、プライベート情報の開示を無意識にリスクを負うことが多い。 クエリがプライバシーを漏らし、どのフレーズがプライベート情報を漏らしているのかをユーザーに自動的に通知する。 しかし、既存のプライバシー検出方法は異なる目的やアプリケーションシナリオのために設計されており、通常は匿名のコンテンツに個人識別可能な情報(PII)をタグ付けする。 本研究では,ローカルなユーザデバイスにデプロイ可能なLLMインタラクションのプライバシ検出モデルの開発と評価を支援するために,249Kユーザクエリと154Kアノテーション付きプライバシフレーズを備えた大規模多言語データセットを構築した。 特に,クラウドベースの強力なLDMを用いた自動プライバシアノテーションパイプラインを構築し,対話データセットから自動的にプライバシフレーズを抽出し,漏洩情報を注釈する。 また、プライバシリーク、プライバシフレーズの抽出、プライバシ情報のレベルの評価指標も設計しました。 さらに,チューニング自由法とチューニング自由法の両方を併用した軽量LLMを用いたベースライン手法を確立し,その性能を総合的に評価する。 評価結果から,実世界のLLMアプリケーションの性能と要件とのギャップが明らかとなり,我々のデータセットに根ざしたより効果的なローカルプライバシ検出手法の今後の研究を動機付けている。

関連論文リスト

• PRIV-QA: Privacy-Preserving Question Answering for Cloud Large Language Models [10.050972891318324]
  本稿では,ユーザと大規模言語モデル間のインタラクションにおいて,プライバシとセンシティブな情報を保護するためのプライバシ保護パイプラインを提案する。 プライバシを開放した最初の質問応答データセットであるSensitiveQAを構築した。 提案手法は,クラウド上でのLCMの応答品質を同時に保ちながら,ユーザ情報の事前確保を目的としたマルチステージ戦略を用いている。
  論文  参考訳（メタデータ） (2025-02-19T09:17:07Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Privacy Preserving Large Language Models: ChatGPT Case Study Based Vision and Framework [6.828884629694705]
  本稿では,LLMのプライバシ生成モデルであるPrivChatGPTという概念モデルを提案する。 PrivChatGPTは、データキュレーション/前処理中にユーザのプライバシを保護し、プライベートコンテキストの保存と大規模データのプライベートトレーニングプロセスという2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-10-19T06:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。