論文の概要: LLM-as-a-Judge for Reliable and Explainable Offline Evaluation in Top-K Recommendation

• arxiv url: http://arxiv.org/abs/2606.22961v1
• Date: Mon, 22 Jun 2026 07:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 03:12:21.929162
• Title: LLM-as-a-Judge for Reliable and Explainable Offline Evaluation in Top-K Recommendation
• Title（参考訳）: LLM-as-a-Judge for Reliable and Explainable Offline Evaluation in Top-K Recommendation
• Authors: Yue Que, Junyi Zhou, Xiaokun Zhang, Haiming Jin, Qiao Xiang, Chen Ma,
• Abstract要約: オフライン評価は、観測されたユーザのフィードバックを、真の好みのプロキシとして扱う。 トップKメトリクスは、それらをサポートする意味のある洞察を提供することなく、数値スコアを確立するだけです。 オフラインのレコメンデーション評価のための信頼性と説明可能なLCM-as-a-Judgeフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.60711435187638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recommendation evaluation plays a crucial role in guiding the refinement and deployment of recommender systems. Most existing trials rely on offline evaluation using Top-K metrics computed over holdout user behaviors. However, we identify two fundamental limitations that undermine their ability to deliver reliable and explainable evaluations. Regarding reliability, offline evaluation treats observed user feedback as a proxy of true preferences and enforces rigid ID matching between the proxy and recommendation. In practice, feedback collections are inherently shaped by incomplete and biased item exposure, leading to distorted and unreliable assessments. Regarding explainability, Top-K metrics only establish numerical scores without offering meaningful insights to support them, thereby reinforcing the black-box nature of offline evaluation. In this paper, we propose a reliable and explainable LLM-as-a-Judge framework for offline recommendation evaluation. To enhance reliability, we introduce a semantic proxy from user textual behaviors to represent their true preferences. This proxy allows for more flexible matching between preferences and recommendations in the semantic space, rather than depending on the holdout feedback. To ensure explainability, the LLM Judge adopts a reasoning-then-scoring process to generate relevance judgments along with explicit rationale. Finally, we aggregate the individual scores into global Top-K metrics to quantify overall recommendation quality, and provide justification for each preference hit or miss. Extensive experiments demonstrate that the LLM Judge achieves solid reliability, explainability, and robustness in evaluation.
• Abstract（参考訳）: レコメンデーション評価は、レコメンデーションシステムの洗練と展開を導く上で重要な役割を担っている。 既存のトライアルのほとんどは、ホールドアウトされたユーザの振る舞いに基づいて計算されたTop-Kメトリクスを使用したオフライン評価に依存している。 しかし、信頼性と説明可能な評価を行う能力を損なう2つの基本的な制限を特定した。 信頼性に関して、オフライン評価は、観測されたユーザのフィードバックを真の好みのプロキシとして扱い、プロキシとレコメンデーションの間の厳密なIDマッチングを強制する。 実際には、フィードバックコレクションは本質的に不完全で偏りのある項目の露出によって形成され、歪んだり信頼性の低い評価に繋がる。 説明可能性に関して、Top-Kメトリクスは、それらをサポートする意味のある洞察を提供することなく、数値的なスコアのみを確立するため、オフライン評価のブラックボックスの性質を補強する。 本稿では、オフラインのレコメンデーション評価のための信頼性と説明可能なLCM-as-a-Judgeフレームワークを提案する。 信頼性を高めるために、ユーザテキストの振る舞いからセマンティックプロキシを導入し、それらの真の嗜好を表現する。 このプロキシは、ホールドアウトフィードバックに依存するのではなく、セマンティックスペースにおける好みとレコメンデーションのより柔軟なマッチングを可能にする。 説明可能性を確保するため、LLM判事は、合理的な根拠とともに、関連性判断を生成するために、推論—then-scoringプロセスを採用する。 最後に、各スコアをグローバルなTop-Kメトリクスに集約し、全体的なレコメンデーション品質を定量化し、各好みのヒットやミスに対する正当化を提供します。 広範囲な実験により,LLM審査員は信頼性,説明可能性,頑健性を評価において達成できることが示された。

関連論文リスト

• Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
  既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。 静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。 実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
  論文  参考訳（メタデータ） (2026-05-29T17:00:55Z)
• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• Learning to Shop Like Humans: A Review-driven Retrieval-Augmented Recommendation Framework with LLMs [30.748667156183004]
  RevBrowseはレビュー駆動のレコメンデーションフレームワークである。 RevBrowseは、ユーザレビューをLLMベースのリグレードプロセスに統合し、候補項目を識別する機能を強化する。 PrefRAGは、ユーザとアイテムの表現を構造化形式に分解する検索拡張モジュールである。
  論文  参考訳（メタデータ） (2025-08-31T04:37:43Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• DAFE: LLM-Based Evaluation Through Dynamic Arbitration for Free-Form Question-Answering [12.879551933541345]
  大規模言語モデル評価のための動的アロケーションフレームワーク(DAFE)を提案する。 DAFEは2つの主要なLCM-as-judgesを採用し、不一致の場合のみ第3の仲裁を行う。 DAFEが一貫した、スケーラブルで、リソース効率の高いアセスメントを提供する能力を示す。
  論文  参考訳（メタデータ） (2025-03-11T15:29:55Z)
• CFaiRLLM: Consumer Fairness Evaluation in Large-Language Model Recommender System [16.84754752395103]
  本研究は,Large Language Model (LLM) ベースのレコメンデータシステムにおける公平性評価に関する過去の研究に批判的な立場を取る。 CFaiRLLMは、真の嗜好アライメントを組み込むだけでなく、交叉フェアネスを厳格に検証する拡張評価フレームワークである。 CFaiRLLMの有効性を検証するため,MovieLensとLastFMを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-03-08T20:44:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。