論文の概要: SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
- arxiv url: http://arxiv.org/abs/2610.12596v1
- Date: Thu, 08 Oct 2026 18:18:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.24521
- Title: SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
- Title（参考訳）: SpireBench: スレイ・ザ・スパイアを用いたエージェントモデルの長期戦略プレイの評価
- Abstract要約: エージェント型大規模言語モデルは複雑なタスクに対処するが、長い地平線上での戦略的推論は未研究である。
SpireBenchでは、モデルが完全な商用デッキビルダーであるSlay the Spireをプレイする。
- 参考スコア（独自算出の注目度）: 1.8327779847707004
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Agentic large language models now tackle complex tasks, yet strategic reasoning over long horizons is under-studied: most agentic benchmarks are short and episodic, and performance on long tasks is hard to dissect into stored knowledge, reasoning and luck. We introduce SpireBench, in which models play the complete commercial deck-builder Slay the Spire (StS), where early decisions decide long-term success. Across 20 large language models (LLMs) at the game's highest difficulty, frontier models beat heuristic baselines and match the average human player but remain far behind experts. This gap widens as the run lengthens: the strongest models win the first act as often as experts, then fall behind. What separates strong models from weak is how well they play each fight; all of them misjudge risk over a run, preserving health rather than spending it to grow stronger. A comprehensive, self-consistent renaming of every game term shows that part of their performance rests on prior knowledge of the game, and models do not improve from the memories they write across runs, which are often wrong and overly cautious. Our harness is the first to give a model the complete original game, and we compare it with existing harnesses. Overall, SpireBench offers an unsaturated long-horizon benchmark with tools to locate where and why agents fail.
- Abstract（参考訳）: エージェント型大規模言語モデルは、現在では複雑なタスクに対処しているが、長い地平線上での戦略的推論は、未調査である: エージェント型ベンチマークのほとんどは短くてエピソジックであり、長いタスクのパフォーマンスは、格納された知識、推論、運に分解することが難しい。
SpireBenchを紹介し、モデルが完全な商用デッキビルダーであるSlay the Spire(StS)をプレイし、早期決定が長期的な成功を決定する。
20以上の大きな言語モデル(LLM)がゲームの最大の難易度において、フロンティアモデルはヒューリスティック・ベースラインを破り、平均的な人間プレイヤーに匹敵するが、専門家には及ばないままである。
このギャップは実行期間が長くなるにつれて拡大し、最強のモデルがエキスパートと同じ頻度で最初の行動に勝ち、その後に落ちる。
強いモデルと弱いモデルとを分けるのは、それぞれがいかにうまく戦うかである。
すべてのゲーム用語を包括的かつ自己整合的にリネームすることで、パフォーマンスの一部がゲームの事前の知識に依存しており、モデルが実行中に書き込まれた記憶から改善されることが示され、しばしば間違いで過度に注意が払われる。
私たちのハーネスは、モデルに完全なオリジナルゲームを初めて与え、既存のハーネスと比較します。
全体として、SpireBenchは不飽和なロングホライゾンベンチマークを提供しており、エージェントが失敗する場所と理由を見つけるためのツールを備えている。
関連論文リスト
- SpeedrunBench: Challenging LLM Agents with Video Game Speedrunning [5.824899281958661]
LLMエージェントは、人間が測定可能なソリューションを持つ、ますます複雑なタスクを解決できることが示されている。
このことは、LLMのエージェントが人類がすでに解決した問題を超えることができるかどうかという、関連する疑問を提起する。
本稿では,ゲームスピードランニングのコミュニティ実践を通じて,エージェントのこのような戦略形成能力について検討する。
論文 参考訳（メタデータ） (2026-10-06T10:06:25Z) - FM-Bench: A Benchmark for Long-Horizon Management with Competing Agents [16.48804532565337]
FM-Bench (Football Management Benchmark) は有界タスクを計測する。
エージェントは26のツールと約340から400の意思決定停止で20年間サッカークラブを運営している。
全てのライバル、取引業者、契約交渉、施設と若者への投資、ラインナップの設定、そしてそれを解雇できる委員会への回答と同じ予算でチームを起草する。
論文 参考訳（メタデータ） (2026-08-19T01:33:36Z) - CurveShift: Is Agent Progress Scalar? Separating Level from Shape [34.67157482807145]
困難タスクに対する利得の明らかなシフトのほとんどは、困難応答曲線の形状の変化を反映していない。
そして、この制御を生き残る小さなハードタスク効果を特定する。
LiveCodeBenchは、エージェント的な足場を走らせない、公開競争力のあるプログラミングベンチマークです。
論文 参考訳（メタデータ） (2026-07-31T23:58:25Z) - Spatial Reasoning in LLM Game Agents: Impact of Causal Context and Multi-Step Planning [56.67877550139192]
さまざまなモデルスケール、推論モード、計画的地平線をまたいだ実験を行います。
空間ナビゲーションを分離する5つの難易度を持つ3つのカスタムゲームからなる集中型GVGAIベンチマークを提案する。
提案手法により, より正確な位置の同定が可能であるが, 座標マッチングの全体的な性能は, より小さなモデルに限られていることがわかった。
論文 参考訳（メタデータ） (2026-07-22T12:10:45Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳（メタデータ） (2026-05-28T07:33:47Z) - GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents [76.60994803070436]
GameWorldは、ブラウザ環境におけるマルチモーダル大言語モデル(MLLM)ゲームエージェントの評価のためのベンチマークである。
2つのゲームエージェントインタフェースが研究され、 (i) キーボードとマウスのコントロールを直接出力するコンピュータ利用エージェント、 (ii) セマンティックアクション空間で作用する汎用マルチモーダルエージェントが研究されている。
18組のモデルとインタフェースのペアによる結果は、最高のパフォーマンスエージェントでさえ、ビデオゲームで人間の能力を達成するには程遠いことを示唆している。
論文 参考訳（メタデータ） (2026-04-08T17:49:03Z) - LM Fight Arena: Benchmarking Large Multimodal Models via Game Competition [104.81487689011341]
本稿では,Mortal Kombat IIにおける大規模マルチモーダルモデルを評価する新しいフレームワークであるLM Fight Arenaを紹介する。
静的評価とは異なり、LM Fight Arenaは完全に自動化され、再現可能で、LMMの戦略的推論能力の客観的評価を提供する。
論文 参考訳（メタデータ） (2025-10-10T02:19:21Z) - MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。
主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。
以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
論文 参考訳（メタデータ） (2025-09-15T19:06:10Z) - Frontier LLMs Still Struggle with Simple Reasoning Tasks [53.497499123166804]
この研究は、フロンティア言語モデルの性能を、幅広い「容易」推論問題に対して研究する。
計算,一階述語論理,証明木,旅行計画など,手続き的に生成された単純な推論タスクのスイートを作成します。
最先端の思考モデルでさえ、このような問題や同様の理由で一貫して失敗することを示します。
論文 参考訳（メタデータ） (2025-07-09T22:22:49Z) - Strategic Intelligence in Large Language Models: Evidence from evolutionary Game Theory [0.0]
我々は,Large Language Models (LLMs) に対する説得力のある支持証拠を提示する。
私たちは、先進的なフロンティアAI企業OpenAI、Google、およびAnthropicのエージェントに対する標準的な戦略を練り、進化的なIDDトーナメントを初めて実施します。
以上の結果から, LLMは競争力が高く, 持続的であり, 複雑な生態系で増殖することさえあることが示唆された。
論文 参考訳（メタデータ） (2025-07-03T13:45:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。