論文の概要: CivBench: Progress-Based Evaluation for LLMs' Strategic Decision-Making in Civilization V
- arxiv url: http://arxiv.org/abs/2604.07733v1
- Date: Thu, 09 Apr 2026 02:29:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.646105
- Title: CivBench: Progress-Based Evaluation for LLMs' Strategic Decision-Making in Civilization V
- Title（参考訳）: CivBench: LLMの文明における戦略的意思決定の進歩的評価 V
- Abstract要約: マルチプレイヤーCivilization VにおけるLSMストラテジスト(エージェント設定)のベンチマークであるCivBenchを紹介する。
CivBenchはターンレベルゲーム状態のモデルをトレーニングし、プレイ全体を通して勝利確率を推定し、予測、構成、収束妥当性を通じて検証する。
我々は,不飽和ベンチマークとして戦略能力を推定するCivBenchの可能性を実証し,エージェント設定のモデル固有の効果を明らかにするとともに,結果のみの評価では見えない異なる戦略プロファイルを概説する。
- 参考スコア（独自算出の注目度）: 0.8673752869253052
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Evaluating strategic decision-making in LLM-based agents requires generative, competitive, and longitudinal environments, yet few benchmarks provide all three, and fewer still offer evaluation signals rich enough for long-horizon, multi-agent play. We introduce CivBench, a benchmark for LLM strategists (i.e., agentic setups) in multiplayer Civilization V. Because terminal win/loss is too sparse a signal in games spanning hundreds of turns and multiple opponents, CivBench trains models on turn-level game state to estimate victory probabilities throughout play, validated through predictive, construct, and convergent validity. Across 307 games with 7 LLMs and multiple CivBench agent conditions, we demonstrate CivBench's potential to estimate strategic capabilities as an unsaturated benchmark, reveal model-specific effects of agentic setup, and outline distinct strategic profiles not visible through outcome-only evaluation.
- Abstract（参考訳）: LLMベースのエージェントで戦略的意思決定を評価するには、生成的、競争的、そして長手な環境を必要とするが、3つ全てを提供するベンチマークは少ない。
CivBench はマルチプレイヤー文明における LLM ストラテジスト (エージェント・セットアップ) のベンチマークである CivBench を導入している。端末の勝利/損失は数百のターンと複数の対戦をまたがるゲームにおいて信号がスパースすぎるため、CivBench はターンレベルのゲーム状態でモデルを訓練し、プレイ全体を通して勝利確率を推定し、予測的、構成的、収束的妥当性を検証している。
7つのLLMと複数のCivBenchエージェント条件を持つ307ゲームにわたって、不飽和ベンチマークとして戦略能力を見積もるCivBenchの可能性を示し、エージェント設定のモデル固有の効果を明らかにし、結果のみの評価では見えない異なる戦略プロファイルを概説する。
関連論文リスト
- LLM-Guided Reinforcement Learning for Adaptive NPC Behavior in Multi-Agent Combat Games [0.0]
大規模言語モデル(LLM)が基礎となる動作を変更することなく、訓練されたRLポリシーをガイドする実行時戦略選択フレームワークについて検討する。
我々は,600話にまたがる3つのスクリプト型に対して,どちらの構成も評価し,Mann-Whitney U テストを用いて結果を分析した。
論文 参考訳（メタデータ） (2026-08-27T07:17:58Z) - RTSGameBench: An RTS Benchmark for Strategic Reasoning by Vision-Language Models [22.162253325526127]
リアルタイム戦略ゲームは、モダンビジョンランゲージモデル(VLM)の自然なテストベッドになり得る
戦場を拡大した大規模RTSゲームであるBeyond All Reason上に構築したRTSGameBenchを紹介する。
VLMが大規模RTSゲームで動作するためには,エージェントメモリを備えたFSMによるユニット管理を行うRTSGameAgentを提供する。
論文 参考訳（メタデータ） (2026-06-17T11:32:51Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳（メタデータ） (2026-05-28T07:33:47Z) - Odysseus: Scaling VLMs to 100+ Turn Decision-Making in Games via Reinforcement Learning [50.464623632604976]
本研究では,スーパーマリオランドにおける長期意思決定のための視覚言語モデル(VLM)の学習について検討する。
本稿では,軽量なターンレベルの批評家によるPPOの適応版を提案し,トレーニングの安定性とサンプル効率を大幅に向上させる。
我々は,VLMエージェントのオープントレーニングフレームワークであるOdysseusを紹介し,ゲーム内の複数のレベルにおいて,実質的なゲインを達成する。
論文 参考訳（メタデータ） (2026-05-01T02:05:56Z) - TowerMind: A Tower Defence Game Learning Environment and Benchmark for LLM as Agents [5.173133826653683]
本稿では,RTSゲームにおけるタワー防衛サブジャンルを基盤とした,新しい環境であるタワーミンドを紹介する。
我々は、広く使われている大規模言語モデルを評価するために、5つのベンチマークレベルを設計する。
その結果、LLMと人間の専門家の能力と幻覚の両面において、明らかなパフォーマンスギャップが明らかとなった。
論文 参考訳（メタデータ） (2026-01-09T16:18:08Z) - Beyond Survival: Evaluating LLMs in Social Deduction Games with Human-Aligned Strategies [54.08697738311866]
Werewolfのようなソーシャル推論ゲームは、言語、推論、戦略を組み合わせている。
我々は,100時間以上のビデオ,32.4M発声トークン,15の規則変種を含む高品質で人間認証されたWerewolfデータセットをキュレートした。
本稿では,勝利派戦略を2段階の真理として活用する新たな戦略調整評価法を提案する。
論文 参考訳（メタデータ） (2025-10-13T13:33:30Z) - PillagerBench: Benchmarking LLM-Based Agents in Competitive Minecraft Team Environments [48.892997022500765]
PillagerBenchは、Minecraftのリアルタイムの競合チーム-vs-チームシナリオでマルチエージェントシステムを評価するフレームワークである。
また,LLMベースのマルチエージェントシステムであるTactiCrafterを提案する。
評価の結果、TactiCrafterはベースラインのアプローチよりも優れており、自己学習による適応学習を誇示している。
論文 参考訳（メタデータ） (2025-09-07T22:51:12Z) - Agents of Change: Self-Evolving LLM Agents for Strategic Planning [28.172006841163938]
HexMachinaは、環境発見と戦略改善を分離する継続的学習マルチエージェントシステムである。
制御されたカタナトロン実験では、HexMachinaはスクラッチから学び、最強の人造ベースラインを上回るプレイヤーを進化させる。
論文 参考訳（メタデータ） (2025-06-05T05:45:24Z) - VS-Bench: Evaluating VLMs for Strategic Abilities in Multi-Agent Environments [25.534332634912005]
マルチエージェント環境における戦略的能力のための視覚言語モデルを評価するベンチマークであるVisual Strategic Bench (VS-Bench)を紹介する。
VLMエージェントの性能は、要素認識精度で測定された知覚、次のアクション予測精度で測定された戦略的推論、正規化エピソードリターンで測定された意思決定の3つの次元にわたって評価される。
論文 参考訳（メタデータ） (2025-06-03T02:57:38Z) - AVTrustBench: Assessing and Enhancing Reliability and Robustness in Audio-Visual LLMs [70.4578433679737]
我々は9つの細工されたタスクにまたがる600万のサンプルからなるAudio-Visual Trustworthiness Assessment Benchmark (AVTrustBench)を紹介する。
ベンチマークを用いて、13の最先端AVLLMを広範囲に評価した。
その結果、既存のモデルのほとんどは、人間のような理解を達成できないことが判明した。
論文 参考訳（メタデータ） (2025-01-03T23:03:24Z) - GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents [4.209869303518743]
大規模言語モデルの戦略的推論能力を評価するためのクロスドメインベンチマークであるGameBenchを紹介する。
戦略的推論能力の向上を目的とした2つの足場フレームワークとともに,GPT-3とGPT-4をベースとして評価を行った。
以上の結果から,試験対象モデルと人体性能は一致せず,GPT-4は無作為な動作よりも悪い結果が得られた。
論文 参考訳（メタデータ） (2024-06-07T00:28:43Z) - How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments [83.78240828340681]
GAMA($gamma$)-Benchは、マルチエージェント環境における大規模言語モデルのゲーム能力を評価するための新しいフレームワークである。
$gamma$-Benchは8つの古典ゲーム理論シナリオと、LSMの性能を評価するために特別に設計された動的スコアリングスキームを含んでいる。
以上の結果から, GPT-3.5は強い強靭性を示すが, 一般化性は限定的であり, Chain-of-Thoughtのような手法で拡張可能であることが示唆された。
論文 参考訳（メタデータ） (2024-03-18T14:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。