論文の概要: Rome Wasn't Built in One Turn: Replay-Grounded Reward Signals for Long-Horizon Freeciv Agents

• arxiv url: http://arxiv.org/abs/2610.41264v1
• Date: Fri, 30 Oct 2026 05:13:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.619062
• Title: Rome Wasn't Built in One Turn: Replay-Grounded Reward Signals for Long-Horizon Freeciv Agents
• Title（参考訳）: ロームは1ターンで作れなかった:ロングホライゾン・フリーシブ・エージェントのためのリプレイ・グラウンド・リワード・シグナル
• Abstract要約: 言語モデルエージェントを長期戦略ゲームでプレイする訓練は、決定論的フィードバックが不十分で、ゲームの終わりにしか届かないため、難しい。 8つの戦略ゲームにまたがる8-68%のポジションペアにおいて、より高いスコア付けのポジションはより悪い結果をもたらす。 オープンソースのターンベースのゲームFreecivでは、何百回ものターンで複数のプレーヤーがユニット、都市、外交を管理する。
• 参考スコア（独自算出の注目度）: 37.15076118862353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training language-model agents to play long-horizon strategy games is hard because deterministic feedback is sparse and often arrives only at the end of a game. In-game scores can offer dense signals, but they do not reliably predict future outcomes: in 8-68% of position pairs across eight strategy games, the higher-scoring position leads to the worse outcome. We term this phenomenon scoreboard traps. In Freeciv, an open-source turn-based empire-building game where several players manage units, cities, and diplomacy over hundreds of turns, we look into better reward signals for gameplay agents. To facilitate this, we build CivHarness, an open system that saves current game states, branches on different decisions, and replays the game to future turns to provide measurable long-horizon feedback from saved positions. We use CivHarness to train CivTelescope, an LLM Judge that predicts which one of two game positions will yield the better outcome. On scoreboard-trap pairs, CivTelescope is 1.3-2.0 times more accurate than off-the-shelf language models, and it generalizes to new game starts, later turns, and unseen rules. We then train a Freeciv gameplay agent with CivTelescope as a dense reward, and call this recipe CivMarshmallow. When used in the middle stage of the game where scoreboard traps are common, CivMarshmallow reaches an average training phase gain of 8.94 points, 77% more than the best baseline, the end-of-game reward. Over the full 120-turn game, CivMarshmallow uses a hybrid reward that starts from the scoreboard or the end-of-game reward and shifts to CivTelescope as the game advances; this hybrid reward scores highest among the rewards we compare.
• Abstract（参考訳）: 言語モデルエージェントを長期戦略ゲームでプレイする訓練は、決定論的フィードバックが不十分で、ゲームの終わりにのみ到着することが多いため、難しい。 ゲーム内のスコアは、密集した信号を提供することができるが、それらは将来の結果を確実に予測しない。8つの戦略ゲーム間で8-68%のポジションペアにおいて、より高いスコア付け位置は、より悪い結果をもたらす。 この現象をスコアボードトラップと呼ぶ。 オープンソースのターンベースのエンパイアビルディングゲームFreecivでは、何百回ものターンで複数のプレーヤーがユニット、都市、外交を管理している。 そこで我々はCivHarnessという,現在のゲームの状態を保存し,異なる決定の分岐を行ない,保存位置から測定可能なロングホライズンフィードバックを提供するオープンシステムを構築した。 我々は、CivHarnessを使って、2つのゲームポジションのうちどれがより良い結果をもたらすかを予測したLCMジャッジであるCivTelescopeを訓練する。 スコアボードとトラップのペアでは、CivTelescopeは市販の言語モデルよりも1.3-2.0倍正確であり、新しいゲームスタート、後にターン、そして目に見えないルールに一般化する。 次に、CivTelescopeでFreecivのゲームプレイエージェントをトレーニングし、このレシピをCivMarshmallowと呼びます。 スコアボードトラップが一般的なゲーム中盤で使用される場合、CivMarshmallowは平均8.94ポイント、最高のベースラインより77%多く、エンド・オブ・ゲーム報酬に達する。 フル120ターンゲームでは、CivMarshmallowはスコアボードまたはエンド・オブ・ゲーム報酬から始まるハイブリッド報酬を使用し、ゲームが進行するにつれてCivTelescopeにシフトします。

関連論文リスト

• Where Planning Changes the Outcome of Orbital Games [24.816348898055523]
  OrbitalGym(オービタルガイム)は、アルゴリズムやシステム設計が対角軌道衝突の結果を決定する際のシミュレーション環境である。 バッチ化されたGPUコードにゲームをコンパイルし、多数の構成にわたるポリシーの大規模並列シミュレーションを可能にする。 本研究では,ある宇宙船が別の宇宙船を捕獲しようとする追尾回避ゲームと,攻撃者が保護資産に到達するのを防いでいる女性バンドガードの2つの近距離ゲームについて検討する。
  論文  参考訳（メタデータ） (2026-10-16T22:53:33Z)
• Coopshift: Post-Training Amplifies The Memory Curse In LLM Cooperation [28.88694585343688]
  7つの社会的ジレンマにまたがって、事前訓練、教師付き微調整、その後の選好、報酬最適化のチェックポイントを比較した。 6つのバイナリアクションゲームで平均される可視履歴の拡大は、SFTとAlignedチェックポイント毎に協調を減少させる。 長い歴史の中で、両方のポストトレーニングされたステージは、各バイナリアクションゲームにおける平均的なベースよりも協力的でない。
  論文  参考訳（メタデータ） (2026-10-16T18:11:16Z)
• Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition [40.08494811358436]
  ヒューリスティックラーニング(英: Heuristic Learning、AHL)は、AIエージェントを学習エンジンとして使用してゲームポリシーを洗練し、ソフトウェアをサポートするパラダイムである。 AAArenaは12の正反対ゲームと1,920のアーカイブされた人間プログラムからなるベンチマークである。 エージェントは、ルールを解釈し、相手を選択し、リプレイを分析し、ゲームエージェントを修正し、一定の試合と評価予算の中で最高ランクを達成する。
  論文  参考訳（メタデータ） (2026-10-08T17:15:48Z)
• CoupVisor: Strategy Optimization by Round and Challenge Decision Support [0.0]
  CoupVisorは、隠れ情報カードゲームCoupの意思決定支援システムである。 プレイヤーが各ターンに何をすべきか、いつプレイヤーが相手の主張に挑戦すべきかという2つの問題に対処する。 このシステムは、手動プレイ、記録されたゲームの再生、シミュレーション、信条追跡、勧告、学習ベースのポリシーで共有されるゲームイベントの単一の記述を中心に構築されている。
  論文  参考訳（メタデータ） (2026-08-16T17:29:04Z)
• Superhuman AI for Generals.io Using Self-Play Reinforcement Learning [5.099083753474628]
  我々は、リアルタイム戦略ゲームであるGenerals.ioのための超人的AIエージェントを提示する。 我々のエージェントは、5000人以上の人間のプレイヤーの公開1v1のリーダーボードで1位に達します。 我々は、政策段階のループで自己プレイでビジョントランスフォーマーポリシーをエンドツーエンドでトレーニングし、勝利/損失報酬を疎結合にします。
  論文  参考訳（メタデータ） (2026-06-22T13:52:22Z)
• Reinforcement Learning for High-Level Strategic Control in Tower Defense Games [47.618236610219554]
  戦略ゲームにおいて、ゲームデザインの最も重要な側面の1つは、プレイヤーにとっての挑戦の感覚を維持することである。 従来のスクリプティング手法と強化学習を組み合わせた自動手法を提案する。 その結果、強化学習のような学習アプローチとスクリプトAIを組み合わせることで、AIのみを使用するよりも高性能で堅牢なエージェントが生まれることが示された。
  論文  参考訳（メタデータ） (2024-06-12T08:06:31Z)
• Targeted Search Control in AlphaZero for Effective Policy Improvement [93.30151539224144]
  我々はAlphaZeroの新しい検索制御戦略であるGo-Exploitを紹介する。 Go-Exploitは、関心のある状態のアーカイブからセルフプレイトラジェクトリの開始状態をサンプリングする。 Go-Exploitは、標準のAlphaZeroよりも優れたサンプル効率で学習する。
  論文  参考訳（メタデータ） (2023-02-23T22:50:24Z)
• GridToPix: Training Embodied Agents with Minimal Supervision [87.05256520152723]
  GridToPixは、Embodied AI環境を反映したグリッドワールドにおいて、終末報酬を持つエージェントを訓練する。 同一モデルとRLアルゴリズムによる端末報酬のみから学んだにもかかわらず、GridToPixはタスク間の結果を著しく改善している。
  論文  参考訳（メタデータ） (2021-04-14T17:59:57Z)
• Combining Off and On-Policy Training in Model-Based Reinforcement Learning [77.34726150561087]
  MuZeroのシミュレートゲームから得られたデータを用いて、オフポリシターゲットの取得方法を提案する。 以上の結果から,これらの目標がトレーニングプロセスのスピードアップと,より高速な収束とより高い報酬につながることが示唆された。
  論文  参考訳（メタデータ） (2021-02-24T10:47:26Z)
• TotalBotWar: A New Pseudo Real-time Multi-action Game Challenge and Competition for AI [62.997667081978825]
  TotalBotWarは、ゲームAIのための新しい擬似リアルタイムマルチアクションチャレンジだ。 ゲームはTotalWarのゲームシリーズに基づいており、プレイヤーは敵のゲームに勝つために軍隊を管理する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。