論文の概要: A Unified Arena for LLM Agents across Diverse Eurogame
- arxiv url: http://arxiv.org/abs/2610.35773v1
- Date: Mon, 26 Oct 2026 17:14:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.126288
- Title: A Unified Arena for LLM Agents across Diverse Eurogame
- Title(参考訳): 多様なユーロゲームにおけるLDMエージェントの統一アリーナ
- Abstract要約: DECE(Diverse Eurogame Competitive Environments)は,10のユーロゲームに共通なインタフェースと評価プロトコルを備えた統合アリーナである。
本研究は,9つのモデルと4つの実行ハーネスにまたがる12のモデルハーネス構成を,10試合で480の3プレーヤマッチで評価した。
これらの比較では、ゲーム固有の強みとともに、幅広いクロスゲームランキング合意が示される。
一致した研究は、同じモデルが実行ハーネス間で異なるパフォーマンスを実現できることを示し、これらのプロファイルに別のバリエーションのソースを追加する。
- 参考スコア(独自算出の注目度): 48.81982658474454
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive environments offer a practical way to evaluate large language model (LLM) agents, and competitive games extend this evaluation to decisions shaped by competing goals and other agents' choices. Yet existing evaluations confined to individual games or execution frameworks leave unclear which competitive advantages persist across settings. We introduce DECE (Diverse Eurogame Competitive Environments), a unified arena spanning ten Eurogames with shared interfaces and evaluation protocols. These games combine lasting strategic commitments, competition over shared resources, and multiple routes to victory. Our primary study evaluates 12 model-harness configurations, spanning nine models and four execution harnesses, in 480 three-player matches across ten games. The main and supplementary studies comprise 1,032 completed matches in total. These comparisons reveal broad cross-game ranking agreement alongside game-specific strengths. Matched studies show that the same model can perform differently across execution harnesses, adding another source of variation to these profiles. These performance advantages do not consistently translate into better token or cost efficiency, making resource use an additional consideration when comparing configurations. Together, the findings support evaluating complete agent configurations by both their competitive performance across games and the resources needed to achieve it.
- Abstract(参考訳): 対話型環境は、大規模言語モデル(LLM)エージェントを評価する実践的な方法を提供し、競争型ゲームは、この評価を競合する目標やその他のエージェントの選択によって形成された決定にまで拡張する。
しかし、個々のゲームや実行フレームワークに限定した既存の評価では、どの競争上の優位性が設定全体にわたって持続するかは明らかでない。
DECE(Diverse Eurogame Competitive Environments)は,10のユーロゲームに共通なインタフェースと評価プロトコルを備えた統合アリーナである。
これらのゲームは、長期にわたる戦略的なコミットメント、共有リソースに対する競争、勝利への複数のルートを組み合わせる。
本研究は,9つのモデルと4つの実行ハーネスにまたがる12のモデルハーネス構成を,10試合で480の3プレーヤマッチで評価した。
メインおよびサプリメント・スタディは、合計1,032試合からなる。
これらの比較では、ゲーム固有の強みとともに、幅広いクロスゲームランキング合意が示される。
一致した研究は、同じモデルが実行ハーネス間で異なるパフォーマンスを実現できることを示し、これらのプロファイルに別のバリエーションのソースを追加する。
これらのパフォーマンス上の利点は、常により良いトークンやコスト効率に変換されないため、構成を比較する際にリソースが追加的に考慮される。
同時に、ゲーム間での競争性能とそれを実現するために必要なリソースの両方によって、完全なエージェント構成の評価をサポートする。
関連論文リスト
- Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition [40.08494811358436]
ヒューリスティックラーニング(英: Heuristic Learning、AHL)は、AIエージェントを学習エンジンとして使用してゲームポリシーを洗練し、ソフトウェアをサポートするパラダイムである。
AAArenaは12の正反対ゲームと1,920のアーカイブされた人間プログラムからなるベンチマークである。
エージェントは、ルールを解釈し、相手を選択し、リプレイを分析し、ゲームエージェントを修正し、一定の試合と評価予算の中で最高ランクを達成する。
論文 参考訳(メタデータ) (2026-10-08T17:15:48Z) - Enhancing Language Agent Strategic Reasoning through Self-Play in Adversarial Games [60.213483076150844]
本稿では,PLAY-And-Learn,SCO-PALを用いたステップレベルのポリCy最適化手法を提案する。
対戦相手を異なるレベルに設定することで、対戦相手の選択を詳細に分析し、戦略的推論を改善する最も効果的な方法が自己プレーであることを見出した。
我々は6試合でGPT-4に対して54.76%の勝利率を達成した。
論文 参考訳(メタデータ) (2025-10-19T09:03:28Z) - LM Fight Arena: Benchmarking Large Multimodal Models via Game Competition [104.81487689011341]
本稿では,Mortal Kombat IIにおける大規模マルチモーダルモデルを評価する新しいフレームワークであるLM Fight Arenaを紹介する。
静的評価とは異なり、LM Fight Arenaは完全に自動化され、再現可能で、LMMの戦略的推論能力の客観的評価を提供する。
論文 参考訳(メタデータ) (2025-10-10T02:19:21Z) - SPARTA ALIGNMENT: Collectively Aligning Multiple Language Models through Combat [76.48873047003943]
SPARTA ALIGNMENT(SPARTA ALIGNMENT)を提案する。
各イテレーションにおいて、1つの命令と2つのモデルがデュエルのために選択され、他のモデルが2つのレスポンスを評価し、それらの評価スコアは、適応されたエロランクベースの評価システムを介して集約される。
ピア評価された戦闘結果は、敗戦よりも勝利の反応が優先される選好ペアとなり、各イテレーションの最後にこれらの選好からすべてのモデルが学習される。
論文 参考訳(メタデータ) (2025-06-05T07:51:23Z) - Diffusion Stochastic Learning Over Adaptive Competing Networks [28.974218453862825]
本稿では,協調エージェントのネットワークで構成される2つのチーム間の動的ゲームについて検討する。
本稿では,このネットワークゲームにおける2つの重要なクラスに対処する拡散学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-28T09:49:54Z) - Identifying and Clustering Counter Relationships of Team Compositions in PvP Games for Efficient Balance Analysis [24.683917771144536]
ゼロサム競争シナリオにおけるバランスを定量化する尺度を開発する。
我々は、合成の有用なカテゴリを特定し、それらのカウンター関係をピンポイントする。
私たちのフレームワークは、Eage of Empires II、Hearthstone、Brawl Stars、League of Legendsなど、人気のあるオンラインゲームで検証されています。
論文 参考訳(メタデータ) (2024-08-30T10:28:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。