論文の概要: Learning an Efficient Multi-Turn Dialogue Evaluator from Multiple Judges

• arxiv url: http://arxiv.org/abs/2508.00454v1
• Date: Fri, 01 Aug 2025 09:26:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.81458
• Title: Learning an Efficient Multi-Turn Dialogue Evaluator from Multiple Judges
• Title（参考訳）: 複数の判断者から効率的な多段階対話評価器の学習
• Authors: Yuqi Tang, Kehua Feng, Yunfeng Wang, Zhiwen Chen, Chengfei Lv, Gang Yu, Qiang Zhang, Keyan Ding,
• Abstract要約: 選好知識を1つのモデルに集約することで,複数のLLM審査員の集合的知恵を捉える,効率的なマルチターン対話評価器を提案する。 評価コストを大幅に削減しつつ,多様なマルチジャッジフィードバックの利点を保ちながら,高速かつ柔軟な対話品質評価を実現している。
• 参考スコア（独自算出の注目度）: 22.7340872046127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the conversational abilities of large language models (LLMs) remains a challenging task. Current mainstream approaches primarily rely on the ``LLM-as-a-judge" paradigm, where an LLM is prompted to serve as an evaluator to assess dialogue quality. However, such methods often suffer from various biases, which undermine the reliability and consistency of the evaluation results. To mitigate these biases, recent methods employ multiple LLMs as judges and aggregate their judgments to select the optimal assessment. Although effective, this multi-judge approach incurs significant computational overhead during inference. In this paper, we propose an efficient multi-turn dialogue evaluator that captures the collective wisdom of multiple LLM judges by aggregating their preference knowledge into a single model. Our approach preserves the advantages of diverse multi-judge feedback while drastically reducing the evaluation cost, enabling fast and flexible dialogue quality assessment. Extensive experiments on seven single rating and pairwise comparison dialogue evaluation benchmarks demonstrate that our method outperforms existing baselines across diverse scenarios, showcasing its efficiency and robustness.
• Abstract（参考訳）: 大規模言語モデル(LLM)の会話能力の評価は依然として難しい課題である。 現在の主流のアプローチは主に `LLM-as-a-judge" パラダイムに依存している。 しかし、このような手法は、評価結果の信頼性と一貫性を損なう様々なバイアスに悩まされることが多い。 これらのバイアスを軽減するために、近年の手法では、複数のLCMを審査員として使用し、判断を集約して最適な評価を選択する。 効果的ではあるが、このマルチジャッジアプローチは推論中にかなりの計算オーバーヘッドを発生させる。 本稿では,複数のLLM審査員の集団知恵を,選好知識を1つのモデルに集約することで,効率的な多元対話評価手法を提案する。 評価コストを大幅に削減しつつ,多様なマルチジャッジフィードバックの利点を保ちながら,高速かつ柔軟な対話品質評価を実現している。 7つのシングルレーティングとペアワイズ比較対話評価ベンチマークの大規模な実験により、本手法は様々なシナリオにおいて既存のベースラインよりも優れており、その効率と堅牢性を示している。

関連論文リスト

• Quantitative LLM Judges [48.676042957523045]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域における人間の評価スコアと整合させる定量的LLM判定者を提案する。 モデルは、裁判官のテキスト評価とスコアを用いて、原判事のスコアを改善するために訓練される。 実験により, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• JudgeBlender: Ensembling Judgments for Automatic Relevance Assessment [28.4353755578306]
  大規模言語モデル(LLM)は、検索タスクの関連ラベルを生成することを約束している。 我々は,より小型のオープンソースモデルを用いて妥当性判断を行うフレームワークであるJiceBlenderを紹介した。
  論文  参考訳（メタデータ） (2024-12-17T19:04:15Z)
• Adversarial Multi-Agent Evaluation of Large Language Models through Iterative Debates [0.0]
  本稿では,対話エージェントのアンサンブル内で,大規模言語モデル(LLM)を提唱者として解釈するフレームワークを提案する。 このアプローチは、従来の人間ベースの評価や自動メトリクスと比較して、よりダイナミックで包括的な評価プロセスを提供します。
  論文  参考訳（メタデータ） (2024-10-07T00:22:07Z)
• Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
  大きな言語モデル(LLM)は、人間のような会話を生成できる。 BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。 本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:01:45Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• LLM-Eval: Unified Multi-Dimensional Automatic Evaluation for Open-Domain Conversations with Large Language Models [28.441725610692714]
  大規模言語モデル(LLM)を用いたオープンドメイン会話のための多次元自動評価手法を提案する。 単一のモデルコールにおける会話品質の多次元を網羅する統合評価スキーマを利用する単一プロンプトベースの評価手法を設計する。 各種ベンチマークデータセットを用いたLCM-Evalの性能評価を行い,その有効性,効率,適応性について,最先端評価法と比較した。
  論文  参考訳（メタデータ） (2023-05-23T05:57:09Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。