論文の概要: Persona Conditioning as an Assessor-Sensitivity Probe for LLM-Based IR Evaluation

• arxiv url: http://arxiv.org/abs/2608.10385v1
• Date: Tue, 11 Aug 2026 02:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.8669
• Title: Persona Conditioning as an Assessor-Sensitivity Probe for LLM-Based IR Evaluation
• Title（参考訳）: LLMを用いたIR評価のための評価感度プローブとしてのペルソナ条件付け
• Abstract要約: 大規模言語モデル (LLM) は情報検索 (IR) 評価において関連性評価器としてますます利用されている。 LLM評価器の感度を明らかにするための診断機構としてのペルソナ条件付けについて検討した。
• 参考スコア（独自算出の注目度）: 8.942079114981052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as relevance assessors in information retrieval (IR) evaluation, raising questions about how assessor framing affects judgment reliability and downstream system comparison. We study persona conditioning as a diagnostic mechanism for exposing LLM assessor sensitivity. Using task-oriented personas drawn from two complementary sources (PersonaHub and NVIDIA Nemotron-Personas-USA), we instantiate five assessor roles emphasizing intent interpretation, domain expertise, contrastive judgment, evidence verification, and global search-quality assessment, compared with a standard UMBRELA baseline. Across six LLM backbones on TREC DL20 and RAG24, our analyses reveal structured rather than uniform assessor sensitivity. Judgments usually remain close to the baseline while shifting assessment strictness, evidential threshold, or interpretation emphasis rather than producing widespread relevance reversals. At the system level, high-capacity models preserve system-ranking agreement, while smaller models amplify persona-induced instability. Local rank-displacement analysis shows sensitivity concentrates on particular retrieval systems and system types, especially neural ranking/reranking systems on DL20 and RAG-oriented pipelines on RAG24. Persona source matters less than assessor role and model capacity. These findings position persona-conditioned judging as a controlled sensitivity probe for stress-testing LLM-based IR evaluation pipelines and identifying systems whose evaluation outcomes are sensitive to assessor framing.
• Abstract（参考訳）: 大規模言語モデル (LLM) は情報検索 (IR) 評価における妥当性評価器としてますます用いられ、評価器のフレーミングが判断信頼性と下流システム比較にどのように影響するかという疑問が提起されている。 LLM評価器の感度を明らかにするための診断機構としてのペルソナ条件付けについて検討した。 2つの相補的なソース(PersonaHub と NVIDIA Nemotron-Personas-USA)から引き出されたタスク指向のペルソナを用いて、標準的な UMBRELA ベースラインと比較して、意図解釈、ドメインの専門知識、対照的な判断、証拠検証、グローバルな検索品質評価を強調する5つの評価役をインスタンス化する。 TREC DL20とRAG24の6つのLDMバックボーンについて, 均一な評価器の感度よりも構造が示唆された。 通常、判断は基準に近づき、評価の厳格さ、明確なしきい値、あるいは解釈の強調を、広範囲の妥当性を逆転させるよりもシフトさせる。 システムレベルでは、高容量モデルはシステムレベルの合意を維持し、小さなモデルはペルソナによる不安定を増幅する。 局所的なランク変位分析では、特定の検索システムやシステムタイプ、特にDL20およびRAG24のRAG指向パイプラインにおけるニューラルランキング/ランク付けシステムに感度が集中している。 ペルソナソースは、アセスメントの役割とモデル能力よりも重要です。 これらの結果から, 評価結果が評価器フレーミングに敏感であるシステムを特定するため, ストレス試験用LDMを用いたIR評価パイプラインの感度制御プローブとしてのペルソナ条件判定を行った。

関連論文リスト

• Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight [1.8147290789002162]
  GPT-4.1 と GPT-5 を会話の質と安全性の面で比較した。 自動でどの属性を確実に判断できるかを特定するために,計量レベルの相関,評価器の整合性,体系的な人間-LLMの不一致について検討する。
  論文  参考訳（メタデータ） (2026-08-25T09:44:36Z)
• LLM-as-a-Judge for Evaluating System Responses in Conversational Music Recommendation [20.276417246845593]
  本稿では,CRS応答評価のためのLCM-as-a-judgeの信頼性を実証的に評価する最初のユーザスタディを提案する。 20のドメインエキスパートアノテータから$n=400$のレーティングを収集し、各レスポンスをパーソナライズ品質と説明品質の2つの次元にわたって評価する。 LLMに基づく審査員は、人間の評価と適度な正の一致を示し、基準ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-07-28T12:26:55Z)
• From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
  ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
  論文  参考訳（メタデータ） (2026-06-07T13:34:55Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• When LLM Judges Inflate Scores: Exploring Overrating in Relevance Assessment [29.603396943658428]
  大型言語モデル(LLM)は、人間の判断のためのプロキシとして使用できる。 モデルは、真に基礎となる情報要求を満たさない通路に、インフレータブルな関連度スコアを常に割り当てていることを示す。 実験の結果,LSMによる相対性判定は通路長や表面の語彙的手がかりに非常に敏感であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-19T08:37:21Z)
• LLM-as-a-Judge: Rapid Evaluation of Legal Document Recommendation for Retrieval-Augmented Generation [40.06592175227558]
  本稿では,法的な文脈における検索・拡張生成システムの評価に対する原則的アプローチについて検討する。 我々は、クリッペンドルフのαのような従来の合意メトリクスが、AIシステム評価の典型的な歪んだ分布に誤解をもたらす可能性があることを発見した。 本研究は,法的な応用によって要求される精度を維持するための,スケーラブルで費用効果の高い評価への道筋を示唆する。
  論文  参考訳（メタデータ） (2025-09-15T19:20:21Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• Limitations of Automatic Relevance Assessments with Large Language Models for Fair and Reliable Retrieval Evaluation [2.9180406633632523]
  大規模言語モデル(LLM)は,自動関連性評価ツールとして注目されている。 近年の研究では、LLMに基づく評価が、人為的判断と高いシステムランキングの相関をもたらすことが示されている。 我々は,LLMによる判断が,上位評価システム間の順位差をいかに保っているか,また,人間の判断として相互に重要な評価を保っているかを検討する。
  論文  参考訳（メタデータ） (2024-11-20T11:19:35Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。