論文の概要: JudgeAgent: Knowledge-wise and Dynamic LLM Evaluation with Agent-as-Interviewer

• arxiv url: http://arxiv.org/abs/2509.02097v2
• Date: Thu, 25 Sep 2025 12:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 14:16:56.022669
• Title: JudgeAgent: Knowledge-wise and Dynamic LLM Evaluation with Agent-as-Interviewer
• Title（参考訳）: judgeAgent: エージェント・アズ・インタービューアによる知識と動的LCM評価
• Authors: Zhichao Shi, Xuhui Jiang, Chengjin Xu, Cangli Yao, Zhenxin Huang, Shengjie Ma, Yinghan Shen, Jian Guo, Yuanzhuo Wang,
• Abstract要約: 本稿では,大規模言語モデルを用いた動的評価パラダイムであるエージェント・アズ・インタービューアを提案する。 現在のベンチマークや動的インタラクションのパラダイムとは異なり、エージェント・アズ・インタービューアはエージェントを使用して、より広く深い知識のために知識ツールを呼び出す。 エージェントのツールとして知識駆動型合成を利用する知識系動的評価フレームワークであるJiceAgentを開発した。
• 参考スコア（独自算出の注目度）: 19.09571232466437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current evaluation paradigms for large language models (LLMs) suffer from overestimated or biased evaluation and mismatched question difficulty, leading to incomplete evaluations of LLM's knowledge and capability boundaries, which hinder LLM's effective application and optimization. To address these challenges, we propose Agent-as-Interviewer, a dynamic evaluation paradigm that employs LLM agents to conduct multi-turn interactions for evaluation. Unlike current benchmarking or dynamic interaction paradigms, Agent-as-Interviewer utilizes agents to call knowledge tools for wider and deeper knowledge in the dynamic multi-turn question generation, achieving more complete evaluations of the LLM's knowledge boundaries. It also leverages agents to plan query strategies for adjustment of the question difficulty levels, enhancing the difficulty control to match the actual capabilities of target LLMs. Based on this paradigm, we develop JudgeAgent, a knowledge-wise dynamic evaluation framework that employs knowledge-driven synthesis as the agent's tool, and uses difficulty scoring as strategy guidance, thereby finally providing valuable suggestions to help targets optimize themselves. Extensive experiments validate the effectiveness of JudgeAgent's suggestions, demonstrating that Agent-as-Interviewer can accurately identify the knowledge and capability boundaries of target models. The source code is available on https://anonymous.4open.science/r/JudgeAgent.
• Abstract（参考訳）: 大規模言語モデル(LLM)の現在の評価パラダイムは、過度に評価されたり、偏りがあったり、不一致な質問の難しさに悩まされ、LLMの知識と能力の境界が不完全な評価となり、LLMの効果的な応用と最適化を妨げている。 これらの課題に対処するために,LLMエージェントを用いた動的評価パラダイムであるエージェント・アズ・インタービューアを提案する。 現在のベンチマークや動的相互作用のパラダイムとは異なり、エージェント・アズ・インタービューアはエージェントを使用して、動的マルチターン質問生成におけるより広範な知識のための知識ツールを呼び出し、LLMの知識境界をより完全に評価する。 また、エージェントを利用して質問難度調整のクエリ戦略を計画し、目標LLMの実際の能力に適合する難易度制御を強化する。 このパラダイムに基づいて、知識駆動型合成をエージェントのツールとして活用し、戦略ガイダンスとしてスコアリングの難しさを生かし、最終的に目標を最適化する上で有用な提案を提供する知識ワイドな動的評価フレームワークであるJiceAgentを開発する。 広範囲な実験によりジャッジアジェントの提案の有効性が検証され、エージェント・アズ・インタービューアがターゲットモデルの知識と能力の境界を正確に識別できることが証明された。 ソースコードはhttps://anonymous.4open.science/r/JudgeAgent.comで入手できる。

関連論文リスト

• When AIs Judge AIs: The Rise of Agent-as-a-Judge Evaluation for LLMs [8.575522204707958]
  大規模言語モデル(LLM)は能力と自律性が向上し、特にオープンで複雑なタスクにおいて、アウトプットの評価が重要なボトルネックとなっている。 新たなパラダイムが生まれつつある。AIエージェントを評価対象として使用することだ。 本稿では,エージェント・アズ・ア・ジャッジの概念を定義し,単一モデル審査員から動的マルチエージェント・ディスカッション・フレームワークへの進化を辿り,その強みと欠点を批判的に検証する。
  論文  参考訳（メタデータ） (2025-08-05T01:42:25Z)
• Should you use LLMs to simulate opinions? Quality checks for early-stage deliberation [5.4260854377259315]
  そこで我々は,LLMを模擬したQuality Controlアセスメントを提案する。 この評価は2つの重要なテストから成っている。 どのモデルやメソッドも完全な評価をパスせず、いくつかの障害モードを明らかにします。
  論文  参考訳（メタデータ） (2025-04-11T20:16:02Z)
• Multi-Agent LLM Judge: automatic personalized LLM judge design for evaluating natural language generation applications [0.0]
  大規模言語モデル(LLM)は、さまざまなドメインにまたがって素晴らしいパフォーマンスを示しているが、ドメイン固有の知識の不足、バイアス、幻覚といった問題に直面している。 単語重複やテキスト埋め込みに依存する従来の評価手法は、動的でオープンなテキスト生成を評価するのに必要なニュアンスドセマンティック情報を取得するには不十分である。 本稿では,様々な自然言語生成アプリケーション向けにパーソナライズされたLLM判断器を自動設計する動的マルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2025-04-01T09:36:56Z)
• TestAgent: A Framework for Domain-Adaptive Evaluation of LLMs via Dynamic Benchmark Construction and Exploratory Interaction [29.72874725703848]
  大規模言語モデル(LLM)は、様々な垂直領域に徐々に展開されている。 現在の評価方法は、実世界の要求に合致しない静的でリソース集約的なデータセットに依存している。 textbfBenchmark+は従来の質問応答ベンチマークを、より柔軟な戦略基準のフォーマットに拡張します。 我々は,これらの概念を実装したエージェントベースの評価フレームワークであるtextbftextscTestAgentを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)
• AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
  本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。 AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。 これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
  論文  参考訳（メタデータ） (2024-01-24T01:51:00Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria [49.500322937449326]
  MLLM(Multimodal large language model)は、AIアプリケーションの範囲を広げている。 既存のMLLMの自動評価手法は主にユーザエクスペリエンスを考慮せずにクエリを評価する場合に限られている。 本稿では,MLLM を判断基準として評価する MLLM の新しい評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:04:25Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。