論文の概要: Can Prompt Anonymity Protect Your Identity From LLM Providers?
- arxiv url: http://arxiv.org/abs/2609.33903v1
- Date: Sun, 27 Sep 2026 20:36:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 15:48:02.997067
- Title: Can Prompt Anonymity Protect Your Identity From LLM Providers?
- Title(参考訳): 匿名性はLLMプロバイダから身元を保護できるか?
- Abstract要約: 大規模言語モデル(LLM)とのユーザ会話には、LLMプロバイダが活用できる非常に機密性の高い個人情報が含まれることが多い。
ユーザのプライバシを保護するために、LLMプロキシの匿名化が、ユーザのアイデンティティとプロンプトを分離する実用的なソリューションとして登場した。
本研究は、著者再確認のリスクについて、最初の実証的研究を行うことにより、このギャップの影響について検討する。
- 参考スコア(独自算出の注目度): 14.107060923247717
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: User conversations with large language models (LLMs) often contain highly sensitive personal information that can be exploited by LLM providers to create detailed user dossiers, enable targeted advertising, and train more powerful models. To protect user privacy, anonymizing LLM proxies have emerged as a practical solution that separates user identity from their prompts, yet this approach still leaves the prompt content visible to LLM providers. We study the impact of this gap by conducting the first empirical investigation into the risk of prompt authorship re-identification. Towards this end, we create PromptAnonBench, a novel benchmark for evaluating prompt anonymity, consisting of over 175,000 cleaned, authentic multi-turn user prompts from various real-world datasets (SWE-Chat and WildChat). Using the embeddings of historical user conversations, an attacker can correctly detect and re-identify at least one anonymized conversation for 50--75% of SWE-Chat users and up to 10% of WildChat users at a 10% false acceptance rate for out-of-set users, even with text-based defenses applied. Our findings unveil the risk of relying only on anonymity for private LLM inference and the gap in existing text privacy defenses.
- Abstract(参考訳): 大きな言語モデル(LLM)とのユーザ会話は、LLMプロバイダによって詳細なユーザドシエを作成し、ターゲット広告を有効にし、より強力なモデルを訓練するために利用される、非常に敏感な個人情報を含んでいることが多い。
ユーザのプライバシを保護するため、LLMプロキシを匿名化することは、ユーザのアイデンティティとプロンプトを分離する実用的なソリューションとして現れていますが、このアプローチは依然として、LLMプロバイダに目に見えるプロンプトコンテンツを残しています。
本研究は、著者再確認のリスクについて、最初の実証的研究を行うことにより、このギャップの影響について検討する。
この目的に向けて、さまざまな実世界のデータセット(SWE-ChatとWildChat)から175,000以上のクリーンで認証されたマルチターンユーザプロンプトからなる、プロンプト匿名性を評価するための新しいベンチマークであるPromptAnonBenchを作成します。
過去のユーザー会話の埋め込みを利用して、攻撃者はSWE-Chatユーザーの50~75%、WildChatユーザーの10%までの匿名化された会話を、テキストベースの防御が適用されても、10%の偽の受け入れレートで正しく検出し、再識別することができる。
この結果から,私的LCM推論の匿名性のみに依存するリスクと,既存のテキストプライバシ保護のギャップが明らかになった。
関連論文リスト
- User Perceptions of Privacy and Helpfulness in LLM Responses to Privacy-Sensitive Scenarios [10.12906605142667]
本稿では,プライバシに敏感なシナリオに反応する大規模言語モデルにおいて,ユーザがプライバシ保護の質や有用性をどのように感じているかを示す。
以上の結果から,プライバシを保ちながらユーザを支援するLCMの能力を測定することの必要性が示唆された。
論文 参考訳(メタデータ) (2025-10-23T16:38:26Z) - Controlling What You Share: Assessing Language Model Adherence to Privacy Preferences [73.5779077857545]
ローカルモデルがこれらの命令を使ってクエリを書き換えるフレームワークを構築します。
軽量なローカルLCMを用いた実験では、微調整後、はるかに大きなゼロショットモデルの性能を著しく上回った。
同時に、このシステムは、ユーザー定義プライバシの好みをよりよく理解したモデルの必要性を強調し、ユーザー指示に完全に準拠するという課題に直面している。
論文 参考訳(メタデータ) (2025-07-07T18:22:55Z) - MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。
まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。
次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
論文 参考訳(メタデータ) (2025-06-25T18:04:25Z) - PPMI: Privacy-Preserving LLM Interaction with Socratic Chain-of-Thought Reasoning and Homomorphically Encrypted Vector Databases [38.43532939618273]
大規模言語モデル(LLM)は、カレンダー、メール、医療記録などの機密性の高いユーザーデータにアクセスするパーソナルエージェントとして、ますます使われるようになっている。
現在、ユーザはトレードオフに直面している。強力なが信頼できないLLMプロバイダにプライベートレコードを送信することで、露出リスクが増大する。
論文 参考訳(メタデータ) (2025-06-19T07:13:30Z) - Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [53.059480071818136]
大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。
PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。
LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
論文 参考訳(メタデータ) (2025-04-19T08:16:10Z) - Protecting Users From Themselves: Safeguarding Contextual Privacy in Interactions with Conversational Agents [33.26308626066122]
会話エージェント(LCA)とのユーザインタラクションにおけるコンテキストプライバシの概念を特徴付ける。
これは、ユーザーが意図した目標を達成するのに必要な情報のみを(ベンダー)が開示することを保証することで、プライバシー上のリスクを最小限にすることを目的としている。
本稿では,ユーザとLCA間のローカルデプロイ可能なフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-22T09:05:39Z) - LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage [78.33839735526769]
LeakAgentは、プライバシー漏洩のための新しいブラックボックスレッドチームフレームワークである。
我々のフレームワークは、敵のプロンプトを生成するための攻撃エージェントとして強化学習を通じてオープンソースのLLMを訓練する。
我々は,LeakAgentが既存のルールベースのデータ抽出手法と,システムリーク時の自動手法を著しく上回っていることを示す。
論文 参考訳(メタデータ) (2024-12-07T20:09:01Z) - AIDBench: A benchmark for evaluating the authorship identification capability of large language models [14.866356328321126]
我々は、大きな言語モデル(LLM)が匿名テキストの作者を特定するのに役立つ、特定のプライバシーリスクに焦点を当てる。
AIDBenchは、メール、ブログ、レビュー、記事、研究論文など、いくつかの著者識別データセットを組み込んだ新しいベンチマークである。
AIDBenchによる我々の実験は、LLMがランダムな確率よりもはるかに高い確率で著者を推測できることを示し、これらの強力なモデルによって引き起こされる新たなプライバシーリスクを明らかにした。
論文 参考訳(メタデータ) (2024-11-20T11:41:08Z) - Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training [55.321010757641524]
大きな言語モデル(LLM)のトレーニングに関する主要な関心事は、著作権のあるオンラインテキストを悪用するかどうかである。
本稿では,Web ユーザとコンテンツプラットフォームがtextbftextitunique 識別子を,信頼性と独立性のあるメンバシップ推論に活用することを提唱する,代替の textitinsert-and-detect 手法を提案する。
論文 参考訳(メタデータ) (2024-03-23T06:36:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。