論文の概要: LUDOBENCH: Evaluating LLM Behavioural Decision-Making Through Spot-Based Board Game Scenarios in Ludo

• arxiv url: http://arxiv.org/abs/2604.05681v1
• Date: Tue, 07 Apr 2026 10:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.767223
• Title: LUDOBENCH: Evaluating LLM Behavioural Decision-Making Through Spot-Based Board Game Scenarios in Ludo
• Title（参考訳）: LUDOBENCH: ルドのスポットベースボードゲームシナリオによるLCM行動決定の評価
• Authors: Ojas Jain, Dhruv Kumar,
• Abstract要約: LudoBenchは、マルチエージェントボードゲームであるLudoにおける戦略的推論を評価するためのベンチマークである。 LudoBenchは、12の行動的に異なる決定カテゴリにわたる480の手作りのスポットシナリオで構成されている。 全てのモデルはゲーム理論のベースラインと一致しており、その40-46%しか使われていない。
• 参考スコア（独自算出の注目度）: 1.5718921092089344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce LudoBench, a benchmark for evaluating LLM strategic reasoning in Ludo, a stochastic multi-agent board game whose dice mechanics, piece capture, safe-square navigation, and home-path progression introduce meaningful planning complexity. LudoBench comprises 480 handcrafted spot scenarios across 12 behaviorally distinct decision categories, each isolating a specific strategic choice. We additionally contribute a fully functional 4-player Ludo simulator supporting Random, Heuristic, Game-Theory, and LLM agents. The game-theory agent uses Expectiminimax search with depth-limited lookahead to provide a principled strategic ceiling beyond greedy heuristics. Evaluating six models spanning four model families, we find that all models agree with the game-theory baseline only 40-46% of the time. Models split into distinct behavioral archetypes: finishers that complete pieces but neglect development, and builders that develop but never finish. Each archetype captures only half of the game theory strategy. Models also display measurable behavioral shifts under history-conditioned grudge framing on identical board states, revealing prompt-sensitivity as a key vulnerability. LudoBench provides a lightweight and interpretable framework for benchmarking LLM strategic reasoning under uncertainty. All code, the spot dataset (480 entries) and model outputs are available at https://anonymous.4open.science/r/LudoBench-5CBF/
• Abstract（参考訳）: Ludo Benchは,ダイスメカニック,ピースキャプチャ,セーフ2乗ナビゲーション,ホームパス進行といった多エージェントボードゲームである。 LudoBenchは、12の異なる決定カテゴリにまたがる480の手作りのスポットシナリオで構成されており、それぞれが特定の戦略的な選択を分離している。 また、Random, Heuristic, Game-Theory, LLM エージェントをサポートするフル機能 4-player Ludo シミュレータをコントリビュートする。 ゲーム理論エージェントは、深度制限されたルックアヘッドによるPre expectiminimaxサーチを使用して、欲張りのヒューリスティックスを超えた、原則化された戦略的天井を提供する。 4つのモデルファミリーにまたがる6つのモデルを評価すると、全てのモデルがゲーム理論のベースラインに一致するのは40～46%であることがわかった。 モデルは、断片を完遂するが開発を無視するフィニッシャと、開発するが完成しないビルダーに分けられる。 各アーチタイプはゲーム理論の戦略のわずか半分をキャプチャする。 モデルでは、同じ基板状態にヒストリコンディショニングされたフラーミングの下での計測可能な行動変化も表示され、重要な脆弱性として即時感度が示される。 LudoBenchは、不確実性の下でLSMの戦略的推論をベンチマークするための軽量で解釈可能なフレームワークを提供する。 すべてのコード、スポットデータセット(480エントリ)、モデル出力はhttps://anonymous.4open.science/r/LudoBench-5CBF/で利用可能である。

関連論文リスト

• Beyond Survival: Evaluating LLMs in Social Deduction Games with Human-Aligned Strategies [54.08697738311866]
  Werewolfのようなソーシャル推論ゲームは、言語、推論、戦略を組み合わせている。 我々は,100時間以上のビデオ,32.4M発声トークン,15の規則変種を含む高品質で人間認証されたWerewolfデータセットをキュレートした。 本稿では,勝利派戦略を2段階の真理として活用する新たな戦略調整評価法を提案する。
  論文  参考訳（メタデータ） (2025-10-13T13:33:30Z)
• Do LLMs Know When to Flip a Coin? Strategic Randomization through Reasoning and Experience [1.7223564681760168]
  戦略的ランダム化はゲーム理論の鍵となる原理であるが、大きな言語モデル(LLM)では未探索のままである。 我々は,天地競馬に触発された新たなゼロサムゲームを提案し,ナッシュ均衡は最大エントロピー戦略に対応する。 より弱いモデルはプロンプトによらず決定論的であることを示し、強いモデルは明示的なヒントの下でランダム化を増大させることを示した。
  論文  参考訳（メタデータ） (2025-06-21T05:26:33Z)
• TMGBench: A Systematic Game Benchmark for Evaluating Strategic Reasoning Abilities of LLMs [45.12542636218608]
  ゲームタイプの包括的カバレッジ,多様なシナリオ,フレキシブルなゲーム組織を特徴とするTMGBenchを提案する。 具体的には、ベンチマークで古典ゲームとして構築された2x2ゲームのロビンソン・ゴーフォーストポロジーによって要約された144種類のゲームタイプをすべて組み込む。 より強力なLSMに適応可能な持続可能な評価フレームワークを提供するため、上記のゲームを原子単位として扱う。
  論文  参考訳（メタデータ） (2024-10-14T13:15:34Z)
• GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents [4.209869303518743]
  大規模言語モデルの戦略的推論能力を評価するためのクロスドメインベンチマークであるGameBenchを紹介する。 戦略的推論能力の向上を目的とした2つの足場フレームワークとともに,GPT-3とGPT-4をベースとして評価を行った。 以上の結果から,試験対象モデルと人体性能は一致せず,GPT-4は無作為な動作よりも悪い結果が得られた。
  論文  参考訳（メタデータ） (2024-06-07T00:28:43Z)
• How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments [83.78240828340681]
  GAMA($gamma$)-Benchは、マルチエージェント環境における大規模言語モデルのゲーム能力を評価するための新しいフレームワークである。 $gamma$-Benchは8つの古典ゲーム理論シナリオと、LSMの性能を評価するために特別に設計された動的スコアリングスキームを含んでいる。 以上の結果から, GPT-3.5は強い強靭性を示すが, 一般化性は限定的であり, Chain-of-Thoughtのような手法で拡張可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T14:04:47Z)
• GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations [87.99872683336395]
  大規模言語モデル(LLM)は、重要な現実世界のアプリケーションに統合される。 本稿では,LLMの競合環境における推論能力について検討する。 まず,広く認識されている10のタスクを構成する言語駆動型環境であるGTBenchを提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:23:36Z)
• ALYMPICS: LLM Agents Meet Game Theory -- Exploring Strategic Decision-Making with AI Agents [77.34720446306419]
  Alympicsは、ゲーム理論の研究にLarge Language Model (LLM)エージェントを利用する、体系的なシミュレーションフレームワークである。 Alympicsは、複雑なゲーム理論の問題を研究するための汎用的なプラットフォームを作成する。
  論文  参考訳（メタデータ） (2023-11-06T16:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。