論文の概要: LLM-as-a-Judge for Privacy Evaluation? Exploring the Alignment of Human and LLM Perceptions of Privacy in Textual Data

• arxiv url: http://arxiv.org/abs/2508.12158v1
• Date: Sat, 16 Aug 2025 20:49:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.591504
• Title: LLM-as-a-Judge for Privacy Evaluation? Exploring the Alignment of Human and LLM Perceptions of Privacy in Textual Data
• Title（参考訳）: プライバシ評価のためのLLM-as-a-Judge : テキストデータにおける人間とLLMのプライバシ認識のアライメントを探る
• Authors: Stephen Meisenbacher, Alexandra Klymenko, Florian Matthes,
• Abstract要約: プライバシ-自然言語処理(NLP)分野の進歩にもかかわらず、プライバシの正確な評価は依然として課題である。 テキストデータにおけるプライバシ評価モデルであるsox2013$にインスパイアされたグローバルアプローチを提案する。 以上の結果から,プライバシ評価者としての評価者の可能性を探究する道が開けた。
• 参考スコア（独自算出の注目度）: 47.76073133338117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite advances in the field of privacy-preserving Natural Language Processing (NLP), a significant challenge remains the accurate evaluation of privacy. As a potential solution, using LLMs as a privacy evaluator presents a promising approach $\unicode{x2013}$ a strategy inspired by its success in other subfields of NLP. In particular, the so-called $\textit{LLM-as-a-Judge}$ paradigm has achieved impressive results on a variety of natural language evaluation tasks, demonstrating high agreement rates with human annotators. Recognizing that privacy is both subjective and difficult to define, we investigate whether LLM-as-a-Judge can also be leveraged to evaluate the privacy sensitivity of textual data. Furthermore, we measure how closely LLM evaluations align with human perceptions of privacy in text. Resulting from a study involving 10 datasets, 13 LLMs, and 677 human survey participants, we confirm that privacy is indeed a difficult concept to measure empirically, exhibited by generally low inter-human agreement rates. Nevertheless, we find that LLMs can accurately model a global human privacy perspective, and through an analysis of human and LLM reasoning patterns, we discuss the merits and limitations of LLM-as-a-Judge for privacy evaluation in textual data. Our findings pave the way for exploring the feasibility of LLMs as privacy evaluators, addressing a core challenge in solving pressing privacy issues with innovative technical solutions.
• Abstract（参考訳）: プライバシ保存自然言語処理(NLP)分野の進歩にもかかわらず、重要な課題は、プライバシの正確な評価である。 潜在的な解決策として、LCMをプライバシー評価ツールとして使用すると、NLPの他のサブフィールドでの成功にインスパイアされた戦略として、$\unicode{x2013}$という有望なアプローチが提示される。 特に、いわゆる$\textit{LLM-as-a-Judge}$パラダイムは、さまざまな自然言語評価タスクにおいて印象的な結果をもたらし、人間のアノテータとの高い合意率を示している。 プライバシが主観的かつ定義が難しいことを認識し,LLM-as-a-Judgeを用いてテキストデータのプライバシ感受性を評価する。 さらに,LLM評価がテキストのプライバシに対する人間の認識とどの程度密接に一致しているかを測定した。 10個のデータセット、13個のLDM、677個の人的調査参加者を対象とした調査の結果、一般的に低い人間間合意率で示された、経験的に測定するのは難しい概念であることが確認された。 それでも,LLMはグローバルなプライバシの観点を正確にモデル化することができ,人間とLLMの推論パターンの分析を通じて,テキストデータのプライバシー評価におけるLLM-as-a-Judgeのメリットと限界について議論する。 我々の発見は、プライバシー評価者としてのLCMsの実現可能性を探究するための道を開くもので、革新的な技術的ソリューションによってプライバシーを圧迫する問題の解決における中核的な課題に対処しています。

関連論文リスト

• PrivaCI-Bench: Evaluating Privacy with Contextual Integrity and Legal Compliance [44.287734754038254]
  生成型大規模言語モデル(LLM)のコンテキストプライバシ評価ベンチマークであるPrivaCI-Benchを提案する。 本稿では,最近の推論モデルQwQ-32BとDeepseek R1を含む最新のLCMを評価した。 実験の結果、LLMは特定のコンテキスト内で重要なCIパラメータを効果的にキャプチャできるが、プライバシコンプライアンスのさらなる進歩が必要であることが示唆された。
  論文  参考訳（メタデータ） (2025-02-24T10:49:34Z)
• Multi-P$^2$A: A Multi-perspective Benchmark on Privacy Assessment for Large Vision-Language Models [65.2761254581209]
  LVLM(Large Vision-Language Models)21個のオープンソースと2個のクローズドソースのプライバシ保護機能の評価を行った。 Multi-P$2$Aに基づいて、21のオープンソースと2つのクローズドソースLVLMのプライバシ保護機能を評価する。 以上の結果から,現在のLVLMは一般にプライバシー侵害のリスクが高いことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-27T07:33:39Z)
• GoldCoin: Grounding Large Language Models in Privacy Laws via Contextual Integrity Theory [44.297102658873726]
  これまでの研究では、さまざまなプライバシー攻撃、防御、評価を狭義に定義されたパターンの中で探索することで、プライバシを研究する。 我々は,プライバシ違反を評価する司法法において,LLMを効果的に活用するための新しい枠組みであるGoldCoinを紹介した。 我々のフレームワークは、コンテキスト整合性の理論をブリッジとして活用し、関連するプライバシー法に基づく多数の合成シナリオを作成する。
  論文  参考訳（メタデータ） (2024-06-17T02:27:32Z)
• No Free Lunch Theorem for Privacy-Preserving LLM Inference [30.554456047738295]
  本研究では,プライバシ保護型大規模言語モデル(LLM)を推定するためのフレームワークを開発する。 プライバシー保護とユーティリティの相互作用を調べるための、しっかりとした理論的基盤を築いている。
  論文  参考訳（メタデータ） (2024-05-31T08:22:53Z)
• Can LLMs Keep a Secret? Testing Privacy Implications of Language Models via Contextual Integrity Theory [82.7042006247124]
  私たちは、最も有能なAIモデルでさえ、人間がそれぞれ39%と57%の確率で、プライベートな情報を公開していることを示しています。 我々の研究は、推論と心の理論に基づいて、新しい推論時プライバシー保護アプローチを即時に探求する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-10-27T04:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。