Fugu-MT 論文翻訳(概要): MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Chatbots and Dialogue Evaluators

論文の概要: MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Chatbots and Dialogue Evaluators

arxiv url: http://arxiv.org/abs/2505.22777v1
Date: Wed, 28 May 2025 18:45:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-30 18:14:07.486745
Title: MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Chatbots and Dialogue Evaluators
Title（参考訳）: MEDAL:多言語オープンドメインチャットボットと対話評価ツールとしてのLLMのベンチマークフレームワーク
Authors: John Mendonça, Alon Lavie, Isabel Trancoso,
Abstract要約: 本稿では,対話評価ベンチマークの生成,評価,キュレートを行う自動マルチエージェントフレームワークであるMEDALを紹介する。シードコンテキストの異なるユーザ-チャットボットの多言語対話を生成する。次に、強いLLMを用いてチャットボットの性能を多次元的に解析し、顕著な言語間性能差を明らかにする。その後、いくつかの推論と非推論 LLM がオープンドメイン対話の評価器として機能する能力を評価するためにベンチマークが使用される。
参考スコア（独自算出の注目度）: 8.672875654352689
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: As the capabilities of chatbots and their underlying LLMs continue to dramatically improve, evaluating their performance has increasingly become a major blocker to their further development. A major challenge is the available benchmarking datasets, which are largely static, outdated, and lacking in multilingual coverage, limiting their ability to capture subtle linguistic and cultural variations. This paper introduces MEDAL, an automated multi-agent framework for generating, evaluating, and curating more representative and diverse open-domain dialogue evaluation benchmarks. Our approach leverages several state-of-the-art LLMs to generate user-chatbot multilingual dialogues, conditioned on varied seed contexts. A strong LLM (GPT-4.1) is then used for a multidimensional analysis of the performance of the chatbots, uncovering noticeable cross-lingual performance differences. Guided by this large-scale evaluation, we curate a new meta-evaluation multilingual benchmark and human-annotate samples with nuanced quality judgments. This benchmark is then used to assess the ability of several reasoning and non-reasoning LLMs to act as evaluators of open-domain dialogues. We find that current LLMs struggle to detect nuanced issues, particularly those involving empathy and reasoning.
Abstract（参考訳）: チャットボットとその基盤となるLLMの能力は劇的に改善され続けており、その性能を評価することが、そのさらなる開発における主要な障害となっている。利用可能なベンチマークデータセットは、大部分が静的で時代遅れであり、多言語カバレッジが欠如しているため、微妙な言語的および文化的バリエーションをキャプチャする能力が制限されている。本稿では、より代表的で多様なオープンドメイン対話評価ベンチマークを生成するための自動マルチエージェントフレームワークであるMEDALを紹介する。提案手法は,様々なシードコンテキストを条件としたユーザ・チャットボット多言語対話を生成するために,最先端のLLMを活用している。次に、強いLLM(GPT-4.1)を用いて、チャットボットの性能を多次元的に解析し、顕著な言語間性能差を明らかにする。この大規模評価に導かれて,新しいメタ評価多言語ベンチマークと,微妙な品質判断を伴う人間アノテーションサンプルをキュレートする。このベンチマークは、いくつかの推論と非推論 LLM がオープンドメイン対話の評価器として機能する能力を評価するために使用される。現在のLLMは、特に共感や推論に関わる問題を検出するのに苦労している。

関連論文リスト

Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。その結果,2つの領域間に大きな性能差が認められた。
論文参考訳（メタデータ） (2025-05-22T12:27:02Z)
MUG-Eval: A Proxy Evaluation Framework for Multilingual Generation Capabilities in Any Language [16.21019515431378]
本稿では,大規模言語モデルの多言語生成能力を評価する新しいフレームワークMUG-Evalを提案する。既存のベンチマークを会話タスクに変換し、それらのタスクに対するLCMの精度を測定します。高、中、低リソースのカテゴリにまたがる30言語にわたる8つのLLMを評価し、MUG-Evalが確立されたベンチマークと強く相関していることを見出した。
論文参考訳（メタデータ） (2025-05-20T14:14:00Z)
ProverbEval: Exploring LLM Evaluation Challenges for Low-resource Language Understanding [15.93642619347214]
低リソース言語のためのLLM評価ベンチマークであるprovrbevalを導入する。ネイティブ言語のpromrb記述はpromrb生成のようなタスクを大幅に改善する。単言語評価は、生成タスクにおける言語間比較よりも一貫して優れていた。
論文参考訳（メタデータ） (2024-11-07T06:34:48Z)
On the Benchmarking of LLMs for Open-Domain Dialogue Evaluation [8.672875654352689]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な機能を示した。本稿では,現在の評価ベンチマークを批判的に検討し,従来の応答生成器の使用と品質面が,現代のチャットボットの機能を正確に反映できないことを強調した。
論文参考訳（メタデータ） (2024-07-04T11:14:47Z)
DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文参考訳（メタデータ） (2024-05-24T08:12:30Z)
Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。フレームワークのコードをGitHubで公開しています。
論文参考訳（メタデータ） (2024-01-30T07:03:32Z)
DIALIGHT: Lightweight Multilingual Development and Evaluation of Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
論文参考訳（メタデータ） (2024-01-04T11:27:48Z)
BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。 GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
論文参考訳（メタデータ） (2023-10-20T16:53:51Z)
Simple LLM Prompting is State-of-the-Art for Robust and Multilingual Dialogue Evaluation [7.767020408405403]
本稿では,既存の評価モデルの強みを生かして,大規模言語モデル(LLM)の促進という新たなパラダイムを提案する。実験により,本フレームワークは,いくつかのベンチマークにおいて,平均スピアマン相関スコアを用いて,技術結果の状態を達成していることを示す。
論文参考訳（メタデータ） (2023-08-31T15:19:28Z)
ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文参考訳（メタデータ） (2023-08-14T15:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。