論文の概要: User Perceptions of Privacy and Helpfulness in LLM Responses to Privacy-Sensitive Scenarios

• arxiv url: http://arxiv.org/abs/2510.20721v1
• Date: Thu, 23 Oct 2025 16:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:18.41954
• Title: User Perceptions of Privacy and Helpfulness in LLM Responses to Privacy-Sensitive Scenarios
• Title（参考訳）: プライバシに敏感なシナリオに対するLCM応答におけるプライバシとヘルプフルネスのユーザ認識
• Authors: Xiaoyuan Wu, Roshni Kaushik, Wenkai Li, Lujo Bauer, Koichi Onoue,
• Abstract要約: 本稿では,プライバシに敏感なシナリオに反応する大規模言語モデルにおいて,ユーザがプライバシ保護の質や有用性をどのように感じているかを示す。 以上の結果から,プライバシを保ちながらユーザを支援するLCMの能力を測定することの必要性が示唆された。
• 参考スコア（独自算出の注目度）: 10.12906605142667
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) have seen rapid adoption for tasks such as drafting emails, summarizing meetings, and answering health questions. In such uses, users may need to share private information (e.g., health records, contact details). To evaluate LLMs' ability to identify and redact such private information, prior work developed benchmarks (e.g., ConfAIde, PrivacyLens) with real-life scenarios. Using these benchmarks, researchers have found that LLMs sometimes fail to keep secrets private when responding to complex tasks (e.g., leaking employee salaries in meeting summaries). However, these evaluations rely on LLMs (proxy LLMs) to gauge compliance with privacy norms, overlooking real users' perceptions. Moreover, prior work primarily focused on the privacy-preservation quality of responses, without investigating nuanced differences in helpfulness. To understand how users perceive the privacy-preservation quality and helpfulness of LLM responses to privacy-sensitive scenarios, we conducted a user study with 94 participants using 90 scenarios from PrivacyLens. We found that, when evaluating identical responses to the same scenario, users showed low agreement with each other on the privacy-preservation quality and helpfulness of the LLM response. Further, we found high agreement among five proxy LLMs, while each individual LLM had low correlation with users' evaluations. These results indicate that the privacy and helpfulness of LLM responses are often specific to individuals, and proxy LLMs are poor estimates of how real users would perceive these responses in privacy-sensitive scenarios. Our results suggest the need to conduct user-centered studies on measuring LLMs' ability to help users while preserving privacy. Additionally, future research could investigate ways to improve the alignment between proxy LLMs and users for better estimation of users' perceived privacy and utility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、電子メールの起草、会議の要約、健康問題への回答といったタスクに急速に採用されている。 このような利用では、ユーザーはプライベート情報(例えば、健康記録、連絡先の詳細など)を共有する必要がある。 LLMがそのようなプライベート情報を識別し、再認識する能力を評価するために、以前の作業では、実際のシナリオでベンチマーク(ConfAIde、PrivacyLensなど)を開発した。 これらのベンチマークを用いて、LLMは複雑なタスクに応答する際に秘密を秘密にしておくのに失敗することがある(例:従業員の給与をまとめてリークする)。 しかしながら、これらの評価は、実際のユーザの認識を覆い隠して、プライバシ規範のコンプライアンスを評価するためにLLM(Proxy LLMs)に依存している。 さらに、先行研究は主に、役立ちの微妙な相違を調査することなく、応答のプライバシー保護品質に焦点を当てた。 プライバシに敏感なシナリオに対するLDM応答のプライバシー保護品質と有用性をユーザがどのように感じているかを理解するために,プライバシレンスから90シナリオを使用した94人の参加者を対象に,ユーザスタディを行った。 その結果、同一の応答を同一のシナリオで評価すると、LLM応答のプライバシー保護品質と有用性について、ユーザ同士の合意が低かった。 さらに,5つのプロキシLLM間では高い一致性を示し,各LSMはユーザの評価と相関性は低かった。 これらの結果は、LLM応答のプライバシと有用性は個人に特有であることを示し、プロキシLSMは、プライバシに敏感なシナリオにおいて、実際のユーザがこれらの応答をどのように認識するかの予測が不十分であることを示唆している。 以上の結果から,プライバシを保ちながらユーザを支援するLCMの能力を測定することの必要性が示唆された。 さらに、将来の研究は、ユーザの認識するプライバシとユーティリティをよりよく評価するために、プロキシLLMとユーザとの整合性を改善する方法を検討する可能性がある。

関連論文リスト

• LLM-as-a-Judge for Privacy Evaluation? Exploring the Alignment of Human and LLM Perceptions of Privacy in Textual Data [47.76073133338117]
  プライバシ-自然言語処理(NLP)分野の進歩にもかかわらず、プライバシの正確な評価は依然として課題である。 テキストデータにおけるプライバシ評価モデルであるsox2013$にインスパイアされたグローバルアプローチを提案する。 以上の結果から,プライバシ評価者としての評価者の可能性を探究する道が開けた。
  論文  参考訳（メタデータ） (2025-08-16T20:49:41Z)
• MAGPIE: A dataset for Multi-AGent contextual PrIvacy Evaluation [54.410825977390274]
  LLMエージェントのコンテキストプライバシを評価するための既存のベンチマークは、主にシングルターン、低複雑さタスクを評価する。 まず、15ドメインにわたる158のリアルタイムハイテイクシナリオからなるベンチマーク-MAGPIEを示す。 次に、コンテキスト的にプライベートなデータに対する理解と、ユーザのプライバシを侵害することなくコラボレーションする能力に基づいて、最先端のLCMを評価します。
  論文  参考訳（メタデータ） (2025-06-25T18:04:25Z)
• Automated Privacy Information Annotation in Large Language Model Interactions [40.87806981624453]
  実際の識別子の下で大きな言語モデル(LLM)と対話するユーザは、プライベート情報の開示を無意識にリスクを負うことが多い。 既存のプライバシ検出方法は、異なる目的とアプリケーションドメインのために設計されている。 249Kのユーザクエリと154Kの注釈付きプライバシフレーズを備えた大規模多言語データセットを構築した。
  論文  参考訳（メタデータ） (2025-05-27T09:00:12Z)
• PrivaCI-Bench: Evaluating Privacy with Contextual Integrity and Legal Compliance [44.287734754038254]
  生成型大規模言語モデル(LLM)のコンテキストプライバシ評価ベンチマークであるPrivaCI-Benchを提案する。 本稿では,最近の推論モデルQwQ-32BとDeepseek R1を含む最新のLCMを評価した。 実験の結果、LLMは特定のコンテキスト内で重要なCIパラメータを効果的にキャプチャできるが、プライバシコンプライアンスのさらなる進歩が必要であることが示唆された。
  論文  参考訳（メタデータ） (2025-02-24T10:49:34Z)
• Differentially Private Steering for Large Language Model Alignment [55.30573701583768]
  本稿では,大規模言語モデルとプライベートデータセットの整合性に関する最初の研究について述べる。 本研究は,プライバシ保証付きアクティベーションを編集するPSA(Private Steering for LLM Alignment)アルゴリズムを提案する。 以上の結果から,PSAはLPMアライメントのDP保証を実現し,性能の低下を最小限に抑えることができた。
  論文  参考訳（メタデータ） (2025-01-30T17:58:36Z)
• Investigating Privacy Bias in Training Data of Language Models [1.3167450470598043]
  プライバシーバイアス(英: privacy bias)とは、あるコンテキスト内で情報の流れが適切に流れる際の歪を指す。 このスキューは、既存の期待に沿うか、システムの問題の症状を示すかもしれない。 文脈整合性に基づく手法を用いてプライバシーバイアスを評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T17:50:31Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。