論文の概要: PersEvalBench: Can LLM Evaluators Judge Contextually Appropriate Use of Persona Information?
- arxiv url: http://arxiv.org/abs/2610.19314v1
- Date: Tue, 13 Oct 2026 23:44:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.854397
- Title: PersEvalBench: Can LLM Evaluators Judge Contextually Appropriate Use of Persona Information?
- Title（参考訳）: PersEvalBench: LLM評価者は、ペルソナ情報の使用を文脈的に適切に判断できるか?
- Abstract要約: PersEvalBenchは,評価者がユーザ履歴の適切な利用と不適切な利用を認識できるかどうかをベンチマークで検証する。
このベンチマークでは、アンダーパーソナライゼーション、オーバーパーソナライゼーション、不正な状態エラーという、3つのファミリーにわたる9つの制御されたエラーサブタイプがカバーされている。
5つのLDM評価器で、完全な対話履歴においても、制御されたエラーのパーソナライゼーションの認識は限られている。
- 参考スコア（独自算出の注目度）: 22.979718530518483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) evaluators are increasingly used to assess personalized assistants, yet whether they can reliably judge personalization has rarely been tested. We introduce PersEvalBench, a benchmark testing whether an evaluator can recognize appropriate and inappropriate uses of user history. It contains 403 multi-episode scenarios where user information should persist, transfer, or cease to apply. The benchmark covers nine controlled error subtypes across three families: under-personalization, over-personalization, and misapplied-state errors. Human audits confirm that generated errors match their intended types and that the prescribed uses of user information are reasonable. Across five LLM evaluators, recognition of controlled personalization errors remains limited even with the full dialogue history. On the human-evaluated subset, under-personalization shows the largest gap: humans recognize 94.4% of these errors, compared with 63.9% for the strongest reported evaluator. Evaluators often recognize that a response is problematic but reverse the error direction, mistaking failure to follow an applicable preference (UNDER) for use of an inapplicable preference (OVER). Easier evidence access offers little help: highlighting the relevant history turns raises error recognition only slightly, suggesting that the remaining difficulty lies in judging what role that information should play in the response.
- Abstract（参考訳）: 大規模言語モデル(LLM)評価器は、パーソナライズされたアシスタントを評価するためにますます使用されるが、パーソナライズを確実に判断できるかどうかは、検査されることは滅多にない。
PersEvalBenchは,評価者がユーザ履歴の適切な利用と不適切な利用を認識できるかどうかをベンチマークで検証する。
ユーザ情報を永続化、転送、適用停止する403のマルチエピソードシナリオを含んでいる。
このベンチマークでは、アンダーパーソナライゼーション、オーバーパーソナライゼーション、不正な状態エラーという、3つのファミリーにわたる9つの制御されたエラーサブタイプがカバーされている。
人間の監査は、生成されたエラーが意図したタイプと一致し、所定のユーザ情報の使用が妥当であることを確認します。
5つのLDM評価器で、完全な対話履歴においても、制御されたパーソナライズエラーの認識は限定的である。
人間の評価されたサブセットでは、人間は94.4%の誤りを認識しており、最強の報告された評価者では63.9%である。
評価者は、応答が問題であるがエラー方向を逆転し、適用不可能な選好(OVER)を使用するために、適用可能な選好(UNDER)に従わなかったことをしばしば認識する。
関連する履歴の強調表示は、エラー認識をわずかに高めるだけであり、残りの難しさは、その情報が応答で果たすべき役割を判断することにあることを示唆している。
関連論文リスト
- One-Sided Verification Under Limited Expert Review [81.81806589083486]
我々は、稀な有効な解決策を優先する必要がある、限定された人間の努力の下で検証を研究する。
我々は、エラー提案とエラー検証を分離するアルゴリズムフレームワークであるOSVerifyを紹介した。
実験によると、OSVerifyは、無効なソリューションの人間レビューの数を平均46%削減している。
論文 参考訳（メタデータ） (2026-10-13T10:10:11Z) - A Tale of Two Error Categories: Exploring Concealed Trade-Offs in the Errors of Automated Judges in Evaluation of Uncertainty Quantifiers [3.4992474047816184]
NLGアプリケーションでは、信頼性の高い正当性判定を得ることは、特に人間の介入なしには簡単ではない。
自動判断の誤りはほとんど避けられず、評価プロトコルの信頼性を低下させることが知られている。
疑問に答える実験では、4つのLLM、人間と自動化された判断、そして7つの人気UQを用いて、審査員のパフォーマンスは、UQ評価の信頼性に対する誤差の観測結果の影響を予測できるのみであり、また、i)判定誤差は最も情報に富むUQを表現する傾向にある。
論文 参考訳（メタデータ） (2026-10-07T08:52:32Z) - Beyond Majority Vote: Multi-Perspective Adjudication for Medical Hallucination Detection [1.7049056868751549]
長文の応答では、事実の誤りは微妙で、ほとんど正しいテキストに埋め込まれる。
ファーストパスアノテータは、後に代弁者によって検証された事実の誤りをしばしば見逃す。
我々は,複数の候補源に対する偏見が完全性ベンチマークを改善する可能性が示唆された。
論文 参考訳（メタデータ） (2026-09-03T14:54:04Z) - Evaluating the Hidden Costs of Personalization in Large Language Models [55.07935163900691]
我々は,(1)無関係なパーソナライゼーション,(2)不必要な文脈で個人情報を参照するモデル,(2)好みの絞り込み,(2)情報エコーチャンバーを補強するモデル,(3)覚醒バイアス,(3)モデルがユーザの意見に過度に同意するモデル,の3つのリスクを識別する。
我々は、現在のAIアシスタントの体系的な制限を明らかにするために、自動データ生成と調整されたメトリクスを備えた動的評価フレームワークであるPRISKを提案する。
論文 参考訳（メタデータ） (2026-08-28T20:05:12Z) - SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information [61.41881137371855]
大規模言語モデル(LLM)のベンチマークであるSPIEvalを紹介する。
SPIEvalは、10のアプリに分散された4,335の個人レコードにまたがる250のタスクで構成され、21のツールによるマルチターンインタラクションをサポートする。
最高のパフォーマンスモデルであるGPT-5.5(xhigh)は57.3%の精度しか達成せず、最も弱いモデルは16.4%である。
論文 参考訳（メタデータ） (2026-08-11T09:14:53Z) - As It Was: Aligning LLM Search Evaluation with Historical User Preferences [10.704343230963877]
本稿では,各検索ページを軽量かつ監査可能な動作前で拡張する行動接地型LCM判定手法を提案する。
Spotifyの楽曲検索評価では,行動判断による判断がユーザの好みと強く一致している。
5つの言語にまたがる多言語ヒューマン・ジャッジデータセットでは、グラウンド化により、人間関係判定との相関が15%増加する。
論文 参考訳（メタデータ） (2026-07-01T15:05:10Z) - Are LLM Evaluators Really Narcissists? Sanity Checking Self-Preference Evaluations [3.262230127283452]
審査員が不正に完了したクエリに応答すると,評価者が自己優先の判断を下す可能性があることを示す。
評価基準(Evaluator Quality Baseline)を導入し,審査員が不正に投票した確率と,別のモデルから不正な反応を投票した確率とを比較した。
論文 参考訳（メタデータ） (2026-01-30T04:38:18Z) - Addressing Personalized Bias for Unbiased Learning to Rank [56.663619153713434]
Unbiased Learning to rank (ULTR)は、バイアスのあるユーザの行動ログからバイアスのないランキングモデルを学ぶことを目的としている。
そこで本研究では,学習からランクへの目標値を求めるために,新しいユーザ認識逆確率スコア推定器を提案する。
論文 参考訳（メタデータ） (2025-08-28T14:01:31Z) - Is my Meeting Summary Good? Estimating Quality with a Multi-LLM Evaluator [6.532478490187084]
MESAは、個々のエラータイプを3段階評価し、意思決定の洗練のためのマルチエージェント議論と、エラー定義の理解と人間の判断との整合性を洗練するためのフィードバックベースの自己学習を取り入れている。
GPT-4oを背骨として、MESAは、エラー検出における人間の判断と、要約品質に対するエラーの影響を反映するミッドスパイアマンとケンドールの相関を、平均0.25以上の方法で達成する。
論文 参考訳（メタデータ） (2024-11-27T15:35:32Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。