論文の概要: Evaluating Large Language Models as Live Strategic Agents: Provider Performance, Hybrid Decomposition, and Operational Gaps in Timed Risk Play
- arxiv url: http://arxiv.org/abs/2605.22238v1
- Date: Thu, 21 May 2026 09:41:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 20:14:18.549107
- Title: Evaluating Large Language Models as Live Strategic Agents: Provider Performance, Hybrid Decomposition, and Operational Gaps in Timed Risk Play
- Title（参考訳）: ライブストラテジックエージェントとしての大規模言語モデルの評価:タイムドリスクプレイにおける提供者性能、ハイブリッド分解、運用ギャップ
- Abstract要約: 我々は,大規模言語モデルが明確な勝利目標と繰り返し計画と実行サイクルで実際にどのように振る舞うかを研究する。
その結果、ライブエージェントのパフォーマンスは、客観的なランタイムトラッキング、実行コンバージョン、コスト、信頼性に依存していることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Static benchmarks capture only part of how large language models behave in practice. Real systems place models inside repeated loops with time limits, formatting constraints, and failure modes. We study this setting in a timed multi-phase Risk environment with explicit victory targets and repeated planning and execution cycles. In a replicated 32-game cross-provider championship under frozen rules, gemini-3.1-pro-preview won 20 of 32 games against gpt-5.1, claude-opus-4-7, and kimi-k2.6, and the pooled winner distribution differs strongly from an equal-strength null (p approx 1.5 x 10^-5). We then separate planning from execution by standardizing execution on a cheaper Gemini Flash scaffold. Under this design, a pooled 32-game planner bakeoff is consistent with near-equality (p approx 0.821), which indicates that much of the earlier provider spread came from end-to-end system behavior rather than planning alone. To study mechanism, we analyze saved planning and execution traces from the provider championship. Gemini refers to the terminal objective far more often than the other models and increases that focus as victory approaches. Gemini also converts more turns into deep conquest chains, even though it is not the cleanest runtime. These results show that live-agent performance depends on objective tracking, execution conversion, cost, and runtime reliability, and they support evaluating LLMs as components in bounded workflows rather than as isolated benchmark respondents.
- Abstract（参考訳）: 静的ベンチマークは、大規模な言語モデルが実際にどのように振る舞うかのごく一部だけをキャプチャする。
実際のシステムは、時間制限、フォーマット制約、障害モードを備えた繰り返しループ内にモデルを配置する。
我々は、この設定を、明確な勝利目標と計画と実行サイクルを繰り返した、タイムド・マルチフェーズ・リスク環境で研究する。
冷凍ルール下の32ゲームクロスプロジェクター選手権では、gemini-3.1-pro-previewが32ゲーム中20ゲームでgpt-5.1、claude-opus-4-7、kimi-k2.6に勝利し、プールされた勝者分布は等しい強度のヌル(papprox 1.5 x 10^-5)と強く異なる。
次に、より安価なGemini Flashの足場での実行を標準化することで、実行から計画を切り離します。
この設計の下では、プールされた32ゲームプランナーのベークオフは、ほぼ平等(papprox 0.821)と一致しており、これは、初期の提供者の多くが、単独で計画するのではなく、エンドツーエンドのシステム動作から来ていることを示している。
メカニズムを研究するために,プロバイダのチャンピオンシップから保存された計画と実行トレースを分析した。
Geminiは端末の目的を他のモデルよりもはるかに頻繁に言及し、勝利が近づくにつれて焦点を絞る。
Geminiはまた、最もクリーンなランタイムではないにもかかわらず、より多くのターンを深い征服チェーンに変換する。
これらの結果から,ライブエージェントのパフォーマンスは,客観的なトラッキング,実行の変換,コスト,実行時の信頼性に依存することが明らかとなった。
関連論文リスト
- Substrate-Aware AI Agents: Execution Context as a First-Class Input [0.0]
最小限の実行契約は、生成プログラムにおけるプロアクティブな構造適応を誘導することを示す。
これらの結果は、基質認識エージェント計画のための制御された概念実証を確立した。
論文 参考訳（メタデータ） (2026-09-04T14:57:17Z) - CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI [15.345634962043858]
CivBenchは、ツールを介する環境で言語モデルエージェントを評価するためのオープンソースのベンチマークである。
単一のエピソードは300回以上のターンにまたがり、大規模なアクション空間上で数千のツールコールを発生させる。
CivBenchを使って、23の許容実行で4つのモデルファミリにまたがるエージェントの動作を特徴付ける。
論文 参考訳（メタデータ） (2026-09-02T11:31:39Z) - Spatial Reasoning in LLM Game Agents: Impact of Causal Context and Multi-Step Planning [56.67877550139192]
さまざまなモデルスケール、推論モード、計画的地平線をまたいだ実験を行います。
空間ナビゲーションを分離する5つの難易度を持つ3つのカスタムゲームからなる集中型GVGAIベンチマークを提案する。
提案手法により, より正確な位置の同定が可能であるが, 座標マッチングの全体的な性能は, より小さなモデルに限られていることがわかった。
論文 参考訳（メタデータ） (2026-07-22T12:10:45Z) - Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。
RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。
最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
論文 参考訳（メタデータ） (2026-06-17T17:59:34Z) - LLM Zeroth-Order Fine-Tuning is an Inference Workload [11.157054169482322]
バックプロパゲーションを前方目標評価に置き換えるため、ゼロオーダー(ZO)ファインチューニングは大規模言語モデルにとって魅力的である。
既存の実装では、近隣のパラメータ状態の下で、支配的な作業が繰り返しスコアリングされているにもかかわらず、従来のトレーニングループ内でZOアルゴリズムを実行している。
LLM ZOファインチューニングは推論に支配される作業負荷であり,その繰り返しスコアリングフェーズをサービスランタイムを通じて実行することを示す。
論文 参考訳（メタデータ） (2026-05-27T17:19:19Z) - GENSTRAT: Toward a Science of Strategic Reasoning in Large Language Models [0.269220799495636]
大規模言語モデル(LLM)は、市場、オークション、入札設定における経済エージェントとして、ますます多くデプロイされている。
既存の戦略推論ベンチマークは、固定された標準ゲーム上のモデルを評価する。
これらの課題に対処するために、手続き的に生成された戦略的環境を利用するGENSTRATを導入する。
論文 参考訳（メタデータ） (2026-05-22T05:13:45Z) - ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload [18.933354857797056]
大規模GPUクラスタ上での大規模言語モデルの事前トレーニングは、ハードウェア障害を稀ではなく日常的なものにしている。
一つの不変量を保持するレジリエントな事前学習システムであるReCoVerを提案する。
チェックポイントとリスタートのベースラインと比較して、ReCoVerは連続する障害の後、より効果的なスループットを2.23タイムで示す。
論文 参考訳（メタデータ） (2026-05-11T20:28:31Z) - GAMBIT: A Three-Mode Benchmark for Adversarial Robustness in Multi-Agent LLM Collectives [48.545980031973556]
GAMBITは、インポスタ検出器を評価するための3つの評価モードと2つの独立したスコアを持つベンチマークである。
ベンチマークには、240の共進化型インポスタ戦略にまたがる27,804のラベル付きインスタンスのデータセットが付属している。
論文 参考訳（メタデータ） (2026-05-09T16:07:23Z) - Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study [31.968379218484746]
ゲート決定は、言語モデリング(LM)の損失に影響を与える前に、多くのレイヤを通して伝播しなければならない。
補助的な損失はトレーニングを安定させるために積み重ねられることが多いが、それらの間の相互作用、特に予測的な補助的なスコアと明示的なスコアの監督の間の相互作用は、制御された条件下で体系的に比較されていない。
これは、後続のすべてのレイヤがフルに実行されると仮定する、オフポリティのオラクルラベルにトレースしますが、ゲートされた実行ルートはフルに1分しかありません。
論文 参考訳（メタデータ） (2026-04-19T03:20:40Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels [49.35636088613484]
JEPA(Joint Embedding Predictive Architectures)は、コンパクトな潜在空間で世界モデルを学習するための魅力的なフレームワークを提供する。
最初のJEPAであるLeModelWorldを紹介します。
数時間で1つのGPU上で15万のパラメータをトレーニングできるため、LeWMはファンデーションモデルベースの世界モデルよりも48倍高速に計画している。
論文 参考訳（メタデータ） (2026-03-13T19:48:14Z) - AlphaZeroES: Direct score maximization outperforms planning loss minimization [61.17702187957206]
実行時の計画では、シングルエージェントとマルチエージェントの両方の設定でエージェントのパフォーマンスが劇的に向上することが示されている。
実行時に計画するアプローチのファミリは、AlphaZeroとその変種で、Monte Carlo Tree Searchと、状態値とアクション確率を予測することによって検索をガイドするニューラルネットワークを使用する。
複数の環境にまたがって、エピソードスコアを直接最大化し、計画損失を最小限に抑えることを示す。
論文 参考訳（メタデータ） (2024-06-12T23:00:59Z) - Off-Beat Multi-Agent Reinforcement Learning [62.833358249873704]
オフビート動作が一般的環境におけるモデルフリーマルチエージェント強化学習(MARL)について検討した。
モデルレスMARLアルゴリズムのための新しいエピソードメモリLeGEMを提案する。
我々は,Stag-Hunter Game,Quarry Game,Afforestation Game,StarCraft IIマイクロマネジメントタスクなど,オフビートアクションを伴うさまざまなマルチエージェントシナリオ上でLeGEMを評価する。
論文 参考訳（メタデータ） (2022-05-27T02:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。