論文の概要: MAREval: A Multi-Agent Framework for Evaluating Natural Language Recommendation Explanations

• arxiv url: http://arxiv.org/abs/2610.36389v1
• Date: Mon, 26 Oct 2026 23:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.447958
• Title: MAREval: A Multi-Agent Framework for Evaluating Natural Language Recommendation Explanations
• Title（参考訳）: MAREval: 自然言語レコメンデーション記述を評価するためのマルチエージェントフレームワーク
• Abstract要約: 人間の評価のような既存の評価手法は、推薦プラットフォームが必要とする規模で資源集約的で実用的ではない。 大規模言語モデルを用いた推薦説明の評価のための構造化マルチエージェントフレームワークであるMAREvalを提案する。 マレバルは、(i)エージェントの役割を調整し、一貫した評価計画を実施するための戦略を推進し、新しい議論の連鎖(CoD)を利用するプランナーエージェント、(ii)即発ドリフトを緩和して議論を規制するモデレーターエージェント、(iii)複数の評価ラウンドから出力を集約する調停エージェントを編成する。
• 参考スコア（独自算出の注目度）: 7.688286336586317
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Evaluating natural language explanations in recommender systems is essential for fostering user trust, transparency, and engagement. However, existing evaluation approaches like human evaluations, while accurate, are resource-intensive and impractical at the scale required by modern recommendation platforms. Also, automated methods using single-agent LLMs suffer from prompt sensitivity and inconsistent outputs. To address these challenges, we propose MAREval, a structured multi-agent framework for evaluating recommendation explanations using large language models. MAREval orchestrates (i) a planner agent that uses a novel Chain of Debate (CoD) prompting strategy to coordinate agent roles and enforce logically consistent evaluation plans; (ii) a moderator agent that regulates discussions by mitigating prompt drift; and (iii) an arbitrator agent that aggregates outputs from multiple evaluation rounds and (iv) a Monte Carlo sampling method, improving robustness and alignment with human judgment. We conduct comprehensive evaluations on both public (TopicalChat) and proprietary recommendation datasets, demonstrating that MAREval outperforms state-of-the-art baselines. Comprehensive experiments on a public benchmark and a proprietary e-commerce dataset show that MAREval improves alignment with human judgments over strong singleand multi-agent baselines. Stability analyses indicate substantially lower variability across repeated trials. In a large human-annotation gate, MAREval meets production quality thresholds where prior evaluators fall short, and online A/B testing demonstrates statistically significant improvements in engagement and revenue metrics. These results establish MAREval as a scalable and reliable solution for human-aligned evaluation of recommendation explanations in real-world systems
• Abstract（参考訳）: 推薦システムにおける自然言語の説明を評価することは、ユーザの信頼、透明性、エンゲージメントを促進するために不可欠である。 しかし、人間の評価のような既存の評価手法は正確ではあるが、現代のレコメンデーションプラットフォームが必要とする規模では資源集約的で実用的ではない。 また, 単一エージェントLPMを用いた自動化手法は, 迅速な感度と不整合出力に悩まされる。 これらの課題に対処するために,大規模言語モデルを用いた推薦説明を評価するための構造化マルチエージェントフレームワークであるMAREvalを提案する。 マレバル管弦楽団 一 新規な議論の連鎖(CoD)を利用して、代理人の役割を調整し、論理的に一貫した評価計画を遂行する計画立案者 二 即時漂流を緩和して議論を規制する調停剤及び 三 複数の評価ラウンドの出力を集約する仲裁業者 (4) モンテカルロサンプリング法により, 頑健性と人的判断との整合性を向上する。 我々は、パブリック(TopicalChat)とプロプライエタリなレコメンデーションデータセットの両方で包括的な評価を行い、MAREvalが最先端のベースラインより優れていることを示す。 公開ベンチマークとプロプライエタリなeコマースデータセットに関する包括的な実験によると、MAREvalは強力なシングルエージェントベースラインとマルチエージェントベースラインに対する人間の判断との整合性を改善する。 安定性分析は、反復的な試行間での変動が著しく低いことを示している。 大規模なヒューマンアノテーションゲートでは、MAREvalは、事前評価者が不足している生産品質のしきい値を満たし、オンラインA/Bテストは、エンゲージメントと収益のメトリクスの統計的に有意な改善を示す。 これらの結果は、実世界のシステムにおけるリコメンデーション説明の人間による評価のためのスケーラブルで信頼性の高いソリューションとして、MAREvalを確立している。

関連論文リスト

• Autonomous Information Seeking: A Roadmap for Agentic Recommender Systems [64.88044474617854]
  大規模言語モデルベースのエージェントをリコメンダシステムに迅速に統合することで、静的なランキングベースのパイプラインから、自律的でインタラクティブなシステムへのシフトが加速した。 この調査では、自律性のレベルとエージェントレコメンデータシステムの3つのコアパラダイムを基盤とした統合された分類法を紹介した。
  論文  参考訳（メタデータ） (2026-07-05T17:55:05Z)
• MILE-RefHumEval: A Reference-Free, Multi-Independent LLM Framework for Human-Aligned Evaluation [1.3299507495084417]
  MILE-RefHumEvalは,Large Language Models (LLM) を評価するための参照レスフレームワークである。 これは、人間に沿ったスキーマによって導かれる独立に誘導される評価者のアンサンブルを活用し、離散的および連続的なスコアリング判定の両方をサポートする。
  論文  参考訳（メタデータ） (2026-02-10T10:10:41Z)
• DAFE: LLM-Based Evaluation Through Dynamic Arbitration for Free-Form Question-Answering [12.879551933541345]
  大規模言語モデル評価のための動的アロケーションフレームワーク(DAFE)を提案する。 DAFEは2つの主要なLCM-as-judgesを採用し、不一致の場合のみ第3の仲裁を行う。 DAFEが一貫した、スケーラブルで、リソース効率の高いアセスメントを提供する能力を示す。
  論文  参考訳（メタデータ） (2025-03-11T15:29:55Z)
• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• DEBATE: Devil's Advocate-Based Assessment and Text Evaluation [6.2689399557794525]
  マルチエージェントスコアリングシステムに基づくNLG評価フレームワークであるDEBATEを提案する。 フレームワーク内では、あるエージェントが他のエージェントの議論を批判するように指示される。 エージェント間の議論の広範囲性とエージェントのペルソナが評価者のパフォーマンスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-16T09:41:12Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。