論文の概要: CATArena: Evaluation of LLM Agents through Iterative Tournament Competitions

• arxiv url: http://arxiv.org/abs/2510.26852v1
• Date: Thu, 30 Oct 2025 15:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:15.868352
• Title: CATArena: Evaluation of LLM Agents through Iterative Tournament Competitions
• Title（参考訳）: Catarena:イテレーティブ・トーナメント・コンペティションによるLLMエージェントの評価
• Authors: Lingyue Fu, Xin Ding, Yaoming Zhu, Shao Zhang, Lin Qiu, Weiwen Liu, Weinan Zhang, Xuezhi Cao, Xunliang Cai, Jiaxin Ding, Yong Yu,
• Abstract要約: 大言語モデル(LLM)エージェントは、基本的なテキスト生成から、外部ツールとのインタラクションを通じて、複雑なタスクを自律的に完了するまで進化してきた。 本研究では,人間レベルインテリジェンスに向けたエージェント進化のコアドライバとして,自己改善とピアラーニングの両方を含む学習能力の重要性を強調した。 本稿では,反復的かつ競合的なピアラーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 49.02422075498554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) agents have evolved from basic text generation to autonomously completing complex tasks through interaction with external tools. However, current benchmarks mainly assess end-to-end performance in fixed scenarios, restricting evaluation to specific skills and suffering from score saturation and growing dependence on expert annotation as agent capabilities improve. In this work, we emphasize the importance of learning ability, including both self-improvement and peer-learning, as a core driver for agent evolution toward human-level intelligence. We propose an iterative, competitive peer-learning framework, which allows agents to refine and optimize their strategies through repeated interactions and feedback, thereby systematically evaluating their learning capabilities. To address the score saturation issue in current benchmarks, we introduce CATArena, a tournament-style evaluation platform featuring four diverse board and card games with open-ended scoring. By providing tasks without explicit upper score limits, CATArena enables continuous and dynamic evaluation of rapidly advancing agent capabilities. Experimental results and analyses involving both minimal and commercial code agents demonstrate that CATArena provides reliable, stable, and scalable benchmarking for core agent abilities, particularly learning ability and strategy coding.
• Abstract（参考訳）: 大言語モデル(LLM)エージェントは、基本的なテキスト生成から、外部ツールとのインタラクションを通じて、複雑なタスクを自律的に完了するまで進化してきた。 しかし、現在のベンチマークは主に固定されたシナリオにおけるエンドツーエンドのパフォーマンスを評価し、特定のスキルに対する評価を制限し、スコア飽和に悩まされ、エージェント能力が向上するにつれて専門家アノテーションへの依存が増大している。 本研究では,人間レベルインテリジェンスに向けたエージェント進化のコアドライバとして,自己改善とピアラーニングの両方を含む学習能力の重要性を強調した。 本稿では,反復的かつ競争的なピアラーニングフレームワークを提案する。これによりエージェントは,反復的なインタラクションやフィードバックを通じて戦略を洗練・最適化し,学習能力を体系的に評価することができる。 CATArenaは4種類のボードゲームとカードゲームとオープンエンドスコアを備えたトーナメント型評価プラットフォームである。 明確な上限のないタスクを提供することで、CATArenaは急速に進行するエージェント能力の連続的および動的評価を可能にする。 最小限のコードエージェントと商用コードエージェントの両方を含む実験結果と分析により、CATArenaがコアエージェント能力、特に学習能力と戦略コーディングに信頼性、安定性、スケーラブルなベンチマークを提供することが示された。

関連論文リスト

• JudgeAgent: Knowledge-wise and Dynamic LLM Evaluation with Agent-as-Interviewer [19.09571232466437]
  大規模言語モデル(LLM)のための動的評価パラダイムであるエージェント・アズ・インタービューアを提案する。 現在のベンチマークや動的相互作用のパラダイムとは異なり、エージェント・アズ・インタービューアはエージェントを使用して動的マルチターン質問生成においてより広く深い知識を得るために知識ツールを呼び出します。 我々は、知識駆動型合成をエージェントのツールとして活用し、戦略指導として難易度スコアリングを利用する知識ワイドな動的評価フレームワークであるJiceAgentを開発する。
  論文  参考訳（メタデータ） (2025-09-02T08:52:16Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• SWE-Search: Enhancing Software Agents with Monte Carlo Tree Search and Iterative Refinement [18.84439000902905]
  現在の大規模言語モデル(LLM)ベースのソフトウェアエージェントは、しばしば線形でシーケンシャルなプロセスに従う。 モンテカルロ木探索(MCTS)と自己改善機構を統合したマルチエージェントフレームワークであるSWE-Searchを提案する。 これは、複雑なソフトウェアエンジニアリング環境における自己評価駆動検索技術の可能性を強調している。
  論文  参考訳（メタデータ） (2024-10-26T22:45:56Z)
• AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
  本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。 AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。 これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
  論文  参考訳（メタデータ） (2024-01-24T01:51:00Z)
• Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
  本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。 本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
  論文  参考訳（メタデータ） (2022-09-07T10:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。