論文の概要: Human-Centred LLM Privacy Audits: Findings and Frictions

• arxiv url: http://arxiv.org/abs/2603.12094v1
• Date: Thu, 12 Mar 2026 16:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:26.19967
• Title: Human-Centred LLM Privacy Audits: Findings and Frictions
• Title（参考訳）: 人中心LLMのプライバシー監査:発見と摩擦
• Authors: Dimitri Staufer, Kirsten Morehouse, David Hartmann, Bettina Berendt,
• Abstract要約: 大規模な言語モデルのためのブラウザベースの自己監査ツールであるLMP2を紹介する。 2つのユーザスタディにおいて、GPT-4oは、60ドルの精度で毎日50のフィーチャのうち11を予測している。 安定な名前条件付きアソシエーションとモデルデフォルトとの明確な分離を観察する。
• 参考スコア（独自算出の注目度）: 2.379911867541422
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) learn statistical associations from massive training corpora and user interactions, and deployed systems can surface or infer information about individuals. Yet people lack practical ways to inspect what a model associates with their name. We report interim findings from an ongoing study and introduce LMP2, a browser-based self-audit tool. In two user studies ($N_{total}{=}458$), GPT-4o predicts 11 of 50 features for everyday people with $\ge$60\% accuracy, and participants report wanting control over LLM-generated associations despite not considering all outputs privacy violations. To validate our probing method, we evaluate eight LLMs on public figures and non-existent names, observing clear separation between stable name-conditioned associations and model defaults. Our findings also contribute to exposing a broader generative AI evaluation crisis: when outputs are probabilistic, context-dependent, and user-mediated through elicitation, what model--individual associations even include is under-specified and operationalisation relies on crafting probes and metrics that are hard to validate or compare. To move towards reliable, actionable human-centred LLM privacy audits, we identify nine frictions that emerged in our study and offer recommendations for future work and the design of human-centred LLM privacy audits.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大規模なトレーニングコーパスとユーザインタラクションから統計的関連を学習し、デプロイされたシステムは個人に関する情報をサーフェスまたは推論することができる。 しかし、モデルが自分の名前とどう関連しているかを検査する実践的な方法が欠けている。 我々は現在進行中の研究から暫定的な知見を報告し、ブラウザベースの自己監査ツールであるLMP2を紹介した。 2つのユーザスタディ(N_{total}{=}458$)において、GPT-4oは、毎日50の機能を$$$ge$60\%の精度で予測している。 提案手法を検証するため,公称と非存在名に対して8つのLLMを評価し,安定な名称条件付き連想とモデルデフォルトの明確な分離を観察した。 アウトプットが確率的、文脈に依存し、ユーリキューションを通じてユーザを介する場合、モデルと個人間の関連がどう含まれているかは未特定であり、運用は検証や比較が難しいプローブやメトリクスの作成に依存します。 信頼性が高く行動可能なLLMプライバシ監査に移行するため、我々の研究で現れた9つの摩擦を特定し、今後の作業や人間中心のLLMプライバシ監査の設計について推奨する。

関連論文リスト

• What Do LLMs Associate with Your Name? A Human-Centered Black-Box Audit of Personal Data [0.7161783472741748]
  大規模言語モデル(LLM)とそれらに基づく会話エージェントは、事前学習とユーザインタラクションの間、個人データ(PD)に露呈する。 LMP2(Language Model Privacy Probe)を導入し、EUの居住者と2つの研究を行った。 GPT-4oは、日常のユーザにとって、60%以上の精度(性別、髪の色、言語など)で11の機能を生成する。最後に、72%の参加者がモデル生成関連を自分の名前でコントロールし、何に数えられるかという疑問を提起している。
  論文  参考訳（メタデータ） (2026-02-19T15:53:29Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Evaluating LLM-Contaminated Crowdsourcing Data Without Ground Truth [18.069595635842557]
  クラウドソーシングワーカーによる大規模言語モデル(LLM)は、人間の入力を反映するデータセットに挑戦する。 LLMの共謀を考慮に入れたクラウドソーシングモデルの下で,理論的保証付き学習自由スコアリング機構を提案する。
  論文  参考訳（メタデータ） (2025-06-08T04:38:39Z)
• HiddenBench: Assessing Collective Reasoning in Multi-Agent LLMs via Hidden Profile Tasks [12.203366267017737]
  マルチエージェント LLM における集合的推論を評価するための最初のベンチマークである HiddenBench を紹介する。 ベンチマークを基礎として,このパラダイムをカスタムタスクで形式化し,GPT-4.1グループが分散知識の統合に失敗したことを示す。 次に、カスタムデザイン、先行研究、自動生成から引き出された65のタスクにまたがる完全なベンチマークを構築します。
  論文  参考訳（メタデータ） (2025-05-15T19:22:54Z)
• Investigating Privacy Bias in Training Data of Language Models [1.3167450470598043]
  プライバシーバイアス(英: privacy bias)とは、あるコンテキスト内で情報の流れが適切に流れる際の歪を指す。 このスキューは、既存の期待に沿うか、システムの問題の症状を示すかもしれない。 文脈整合性に基づく手法を用いてプライバシーバイアスを評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T17:50:31Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。