Fugu-MT 論文翻訳(概要): MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Dialogue Evaluators

論文の概要: MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Dialogue Evaluators

arxiv url: http://arxiv.org/abs/2505.22777v4
Date: Mon, 06 Oct 2025 14:06:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-07 19:16:49.388937
Title: MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Dialogue Evaluators
Title（参考訳）: MEDAL:多言語オープンドメイン対話評価器としてのLLMのベンチマークフレームワーク
Authors: John Mendonça, Alon Lavie, Isabel Trancoso,
Abstract要約: 既存のメタ評価ベンチマークは静的で時代遅れであり、多言語カバレッジに欠けています。我々は、より代表的で多様な評価ベンチマークをキュレートするための自動マルチエージェントフレームワークであるMEDALを紹介する。 MEDALを用いて、最先端の審査員が共感の欠如、常識の欠如、あるいは関連性などのニュアンスな問題を確実に検出できないことを明らかにする。
参考スコア（独自算出の注目度）: 10.105344895924164
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Evaluating the quality of open-domain chatbots has become increasingly reliant on LLMs acting as automatic judges. However, existing meta-evaluation benchmarks are static, outdated, and lacking in multilingual coverage, limiting their ability to fully capture subtle weaknesses in evaluation. We introduce MEDAL, an automated multi-agent framework for curating more representative and diverse open-domain dialogue evaluation benchmarks. Our approach leverages several state-of-the-art LLMs to generate user-chatbot multilingual dialogues, conditioned on varied seed contexts. Then, a strong LLM (GPT-4.1) is used for a multidimensional analysis of the performance of the chatbots, uncovering noticeable cross-lingual performance differences. Guided by this large-scale evaluation, we curate a new meta-evaluation multilingual benchmark and human-annotate samples with nuanced quality judgments. This benchmark is then used to assess the ability of several reasoning and non-reasoning LLMs to act as evaluators of open-domain dialogues. Using MEDAL, we uncover that state-of-the-art judges fail to reliably detect nuanced issues such as lack of empathy, commonsense, or relevance.
Abstract（参考訳）: オープンドメインチャットボットの品質評価は、自動判断器として機能するLCMにますます依存している。しかし、既存のメタ評価ベンチマークは静的で時代遅れであり、多言語カバレッジに欠けており、評価における微妙な弱点を完全に捉える能力が制限されている。我々は、より代表的で多様なオープンドメイン対話評価ベンチマークをキュレートするための自動マルチエージェントフレームワークであるMEDALを紹介する。提案手法は,様々なシードコンテキストを条件としたユーザ・チャットボット多言語対話を生成するために,最先端のLLMを活用している。次に、チャットボットの性能の多次元的解析に強力なLLM(GPT-4.1)を用い、顕著な言語間性能差を明らかにする。この大規模評価に導かれて,新しいメタ評価多言語ベンチマークと,微妙な品質判断を伴う人間アノテーションサンプルをキュレートする。このベンチマークは、いくつかの推論と非推論 LLM がオープンドメイン対話の評価器として機能する能力を評価するために使用される。 MEDALを用いて、最先端の審査員が共感の欠如、常識の欠如、あるいは関連性などのニュアンスな問題を確実に検出できないことを明らかにする。

関連論文リスト

Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。その結果,2つの領域間に大きな性能差が認められた。
論文参考訳（メタデータ） (2025-05-22T12:27:02Z)
MUG-Eval: A Proxy Evaluation Framework for Multilingual Generation Capabilities in Any Language [16.21019515431378]
本稿では,大規模言語モデルの多言語生成能力を評価する新しいフレームワークMUG-Evalを提案する。既存のベンチマークを会話タスクに変換し、それらのタスクに対するLCMの精度を測定します。高、中、低リソースのカテゴリにまたがる30言語にわたる8つのLLMを評価し、MUG-Evalが確立されたベンチマークと強く相関していることを見出した。
論文参考訳（メタデータ） (2025-05-20T14:14:00Z)
ProverbEval: Exploring LLM Evaluation Challenges for Low-resource Language Understanding [15.93642619347214]
低リソース言語のためのLLM評価ベンチマークであるprovrbevalを導入する。ネイティブ言語のpromrb記述はpromrb生成のようなタスクを大幅に改善する。単言語評価は、生成タスクにおける言語間比較よりも一貫して優れていた。
論文参考訳（メタデータ） (2024-11-07T06:34:48Z)
On the Benchmarking of LLMs for Open-Domain Dialogue Evaluation [8.672875654352689]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な機能を示した。本稿では,現在の評価ベンチマークを批判的に検討し,従来の応答生成器の使用と品質面が,現代のチャットボットの機能を正確に反映できないことを強調した。
論文参考訳（メタデータ） (2024-07-04T11:14:47Z)
Evaluating the Performance of Large Language Models via Debates [43.40134389150456]
大規模言語モデル(LLM)は急速に進化し、様々な分野に影響を与えています。パフォーマンス評価の現在のほとんどのアプローチは、固定されたドメイン固有の質問に基づいているか、あるいは人間の入力に依存している。本稿では,LLM間の議論に基づく自動ベンチマークフレームワークを提案する。この方法は、ドメイン知識だけでなく、議論的推論や矛盾認識といったスキルも評価する。
論文参考訳（メタデータ） (2024-06-16T19:02:31Z)
DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文参考訳（メタデータ） (2024-05-24T08:12:30Z)
Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。フレームワークのコードをGitHubで公開しています。
論文参考訳（メタデータ） (2024-01-30T07:03:32Z)
DIALIGHT: Lightweight Multilingual Development and Evaluation of Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文参考訳（メタデータ） (2024-01-04T11:27:48Z)
BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。 GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
論文参考訳（メタデータ） (2023-10-20T16:53:51Z)
Simple LLM Prompting is State-of-the-Art for Robust and Multilingual Dialogue Evaluation [7.767020408405403]
本稿では,既存の評価モデルの強みを生かして,大規模言語モデル(LLM)の促進という新たなパラダイムを提案する。実験により,本フレームワークは,いくつかのベンチマークにおいて,平均スピアマン相関スコアを用いて,技術結果の状態を達成していることを示す。
論文参考訳（メタデータ） (2023-08-31T15:19:28Z)
ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文参考訳（メタデータ） (2023-08-14T15:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。