論文の概要: Multi-Agent-as-Judge: Aligning LLM-Agent-Based Automated Evaluation with Multi-Dimensional Human Evaluation

• arxiv url: http://arxiv.org/abs/2507.21028v1
• Date: Mon, 28 Jul 2025 17:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:58.236993
• Title: Multi-Agent-as-Judge: Aligning LLM-Agent-Based Automated Evaluation with Multi-Dimensional Human Evaluation
• Title（参考訳）: マルチエージェント・アズ・ジャッジ:多次元人的評価によるLLMベース自動評価の調整
• Authors: Jiaju Chen, Yuxuan Lu, Xiaojie Wang, Huimin Zeng, Jing Huang, Jiri Gesi, Ying Xu, Bingsheng Yao, Dakuo Wang,
• Abstract要約: LLM-as-a-judge」パラダイムは、LLMエージェントを利用して人間の評価を確実にシミュレートする有望なアプローチに光を当てる。 関連文書から異なる次元の人格を自動構築できるマルチエージェント・アズ・ジャッジ評価フレームワークMAJ-EVALを提案する。 教育・医療分野での評価実験を行ったところ,MAJ-EVALは評価結果が人間の評価値とよく一致していることがわかった。
• 参考スコア（独自算出の注目度）: 36.60223310492119
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Nearly all human work is collaborative; thus, the evaluation of real-world NLP applications often requires multiple dimensions that align with diverse human perspectives. As real human evaluator resources are often scarce and costly, the emerging "LLM-as-a-judge" paradigm sheds light on a promising approach to leverage LLM agents to believably simulate human evaluators. Yet, to date, existing LLM-as-a-judge approaches face two limitations: persona descriptions of agents are often arbitrarily designed, and the frameworks are not generalizable to other tasks. To address these challenges, we propose MAJ-EVAL, a Multi-Agent-as-Judge evaluation framework that can automatically construct multiple evaluator personas with distinct dimensions from relevant text documents (e.g., research papers), instantiate LLM agents with the personas, and engage in-group debates with multi-agents to Generate multi-dimensional feedback. Our evaluation experiments in both the educational and medical domains demonstrate that MAJ-EVAL can generate evaluation results that better align with human experts' ratings compared with conventional automated evaluation metrics and existing LLM-as-a-judge methods.
• Abstract（参考訳）: したがって、現実世界のNLPアプリケーションの評価には、様々な人間の視点に合わせて複数の次元を必要とすることが多い。 実際の人的評価資源は希少で費用がかかるため、新たな「LLM-as-a-judge」パラダイムは、LLMエージェントを有効活用して人間の評価を確実にシミュレートする、有望なアプローチに光を当てる。 エージェントのペルソナ記述は、しばしば任意に設計され、フレームワークは他のタスクに一般化できない。 これらの課題に対処するために,MAJ-EVALというマルチエージェント・アズ・ジャッジ評価フレームワークを提案し,関連するテキスト文書(例えば研究論文)から異なる次元の複数の評価対象人格を自動的に構築し,LLMエージェントをペルソナでインスタンス化し,多次元フィードバックを生成するためにグループ内での議論を行う。 教育と医療の両分野における評価実験により,MAJ-EVALは従来の自動評価指標や既存のLCM-as-a-judge法と比較して,人間の評価値に適合する評価結果が得られた。

関連論文リスト

• Multi-Agent LLM Judge: automatic personalized LLM judge design for evaluating natural language generation applications [0.0]
  大規模言語モデル(LLM)は、さまざまなドメインにまたがって素晴らしいパフォーマンスを示しているが、ドメイン固有の知識の不足、バイアス、幻覚といった問題に直面している。 単語重複やテキスト埋め込みに依存する従来の評価手法は、動的でオープンなテキスト生成を評価するのに必要なニュアンスドセマンティック情報を取得するには不十分である。 本稿では,様々な自然言語生成アプリケーション向けにパーソナライズされたLLM判断器を自動設計する動的マルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2025-04-01T09:36:56Z)
• Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
  大きな言語モデル(LLM)は、人間のような会話を生成できる。 BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。 本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:01:45Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria [49.500322937449326]
  MLLM(Multimodal large language model)は、AIアプリケーションの範囲を広げている。 既存のMLLMの自動評価手法は主にユーザエクスペリエンスを考慮せずにクエリを評価する場合に限られている。 本稿では,MLLM を判断基準として評価する MLLM の新しい評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:04:25Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。