論文の概要: Constrained Command-Conditioned Reinforcement Learning with Bandit Strategy Selection in Real-Time Strategy Games

• arxiv url: http://arxiv.org/abs/2610.11663v1
• Date: Thu, 08 Oct 2026 10:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.960593
• Title: Constrained Command-Conditioned Reinforcement Learning with Bandit Strategy Selection in Real-Time Strategy Games
• Title（参考訳）: 実時間戦略ゲームにおける帯域戦略選択による制約付きコマンド・コンディション強化学習
• Abstract要約: 実時間戦略環境であるMicroRTSに対して,制約付き命令条件付きPPO(Proximal Policy Optimization)ポリシー(executor)を導入する。 トンプソン・サンプリングのバンディットはストラテジストとして機能し、ゲーム内観測から構築された相手の戦略の見積もりからコマンドを選択する。 同じアーキテクチャ、予算、カリキュラム、セルフプレイリーグでトレーニングされたフラットなPPOベースラインと比較して、ストラテジスト・エグゼキュータシステムは、トレーニングマップ上の4つの最強の相手のうち3つに対して、はるかに頻繁に勝利する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning agents reach strong performance in real-time strategy games but can be brittle against opponents outside their training distribution. Separating strategic command selection from learned unit control allows different strategies to be selected for different opponents while reusing the same execution policy. This requires an executor that can follow different commands and measurable criteria for assessing whether it does so. We introduce a constrained command-conditioned Proximal Policy Optimization (PPO) policy, the executor, for MicroRTS, a real-time strategy environment. Discrete commands specify strategic objectives and behavioral requirements for economy, army composition, military posture, and worker policy over multiple environment steps; the executor determines the unit-level actions used to fulfill them. A Thompson-sampling bandit acts as the strategist, selecting command tuples from an estimate of the opponent's strategy built from in-game observations rather than opponent identity. In a controlled comparison with a flat PPO baseline trained with the same architecture, budget, curriculum and self-play league, the strategist-executor system wins significantly more often against three of the four strongest opponents on a training map, including the two strongest held-out ones (0.55 to 0.97 and 0.01 to 0.34), with no significant difference against the others.
• Abstract（参考訳）: 深層強化学習エージェントは、リアルタイム戦略ゲームで強いパフォーマンスを得るが、トレーニングディストリビューション外の相手に対して脆弱になる可能性がある。 学習単位制御から戦略的コマンド選択を分離することで、同じ実行ポリシーを再利用しながら異なる相手に対して異なる戦略を選択することができる。 これは、異なるコマンドに従うエグゼクティブと、それが正しいかどうかを評価するための測定可能な基準を必要とする。 実時間戦略環境であるMicroRTSに対して,制約付き命令条件付きPPO(Proximal Policy Optimization)ポリシー(executor)を導入する。 離散的な命令は、経済、軍構成、軍事姿勢、労働者政策の戦略的目的と行動的要求を複数の環境ステップで規定し、執行官はそれらを満たすために使用される単位レベルの行動を決定する。 トンプソン・サンプリングのバンディットはストラテジストとして働き、敵のアイデンティティではなく、ゲーム内での観察から構築された敵の戦略の推定からコマンドタプルを選択する。 同じアーキテクチャ、予算、カリキュラム、セルフプレイリーグで訓練されたフラットなPPOベースラインと比較して、ストラテジスト・エグゼキュータシステムは、トレーニングマップ上の4つの最強の対戦相手のうち3つ(0.55〜0.97、0.01〜0.34)に対して、他との大きな差はなく、より多く勝利する。

関連論文リスト

• STRATA: Self-Learning Through Role-Aligned Tiered Agents for Real-Time Strategy Games [17.288255065164442]
  我々は,レッドアラートのためのクロスゲーム・セルフラーニングを備えたロールアラインな階層システムSTRATAを提案する。 STRATAは戦略エージェント(SA)、論理エージェント(LA)、戦術エージェント(TA)に戦略的、論理的、戦術的決定を割り当てる SAはグローバルゲーム状態と関連するエクスペリエンスカードに基づいて高レベルディレクティブを生成し、LAとTAはロジスティクスと戦術実行を処理する。 本研究では,経験カードの形成,学習前後のフルマッチ比較,プレイスタイルの異なるAI相手に対する学習経験を通じて,STRATAを評価した。
  論文  参考訳（メタデータ） (2026-09-30T03:31:06Z)
• LLM-Guided Reinforcement Learning for Adaptive NPC Behavior in Multi-Agent Combat Games [0.0]
  大規模言語モデル(LLM)が基礎となる動作を変更することなく、訓練されたRLポリシーをガイドする実行時戦略選択フレームワークについて検討する。 我々は,600話にまたがる3つのスクリプト型に対して,どちらの構成も評価し,Mann-Whitney U テストを用いて結果を分析した。
  論文  参考訳（メタデータ） (2026-08-27T07:17:58Z)
• Enhancing Language Agent Strategic Reasoning through Self-Play in Adversarial Games [60.213483076150844]
  本稿では,PLAY-And-Learn,SCO-PALを用いたステップレベルのポリCy最適化手法を提案する。 対戦相手を異なるレベルに設定することで、対戦相手の選択を詳細に分析し、戦略的推論を改善する最も効果的な方法が自己プレーであることを見出した。 我々は6試合でGPT-4に対して54.76%の勝利率を達成した。
  論文  参考訳（メタデータ） (2025-10-19T09:03:28Z)
• Preference-based opponent shaping in differentiable games [3.373994463906893]
  そこで我々は,エージェントの嗜好を協調に向けて形作ることによって,戦略学習プロセスを強化するためのPBOS法を提案する。 様々な異なるゲームにおいてPBOSアルゴリズムの性能を検証する。
  論文  参考訳（メタデータ） (2024-12-04T06:49:21Z)
• All by Myself: Learning Individualized Competitive Behaviour with a Contrastive Reinforcement Learning optimization [57.615269148301515]
  競争ゲームのシナリオでは、エージェントのセットは、彼らの目標を最大化し、敵の目標を同時に最小化する決定を学習する必要があります。 本稿では,競争ゲームの表現を学習し,特定の相手の戦略をどうマップするか,それらを破壊するかを学習する3つのニューラルネットワーク層からなる新しいモデルを提案する。 我々の実験は、オフライン、オンライン、競争特化モデル、特に同じ対戦相手と複数回対戦した場合に、我々のモデルがより良いパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2023-10-02T08:11:07Z)
• Inverse Reinforcement Learning for Strategy Identification [2.6572330982240935]
  敵対的環境では、一方が相手の戦略を特定することで有利になる。 本稿では、逆強化学習(IRL)を用いて、敵環境における戦略を特定することを提案する。
  論文  参考訳（メタデータ） (2021-07-31T17:22:52Z)
• Who Leads and Who Follows in Strategic Classification? [82.44386576129295]
  戦略分類における役割の順序は、決定者とエージェントが互いの行動に適応する相対周波数によって決定される。 更新頻度を自由に選択できる意思決定者は,いずれの順番でスタックルバーグ均衡に収束する学習力学を誘導できることを示す。
  論文  参考訳（メタデータ） (2021-06-23T16:48:46Z)
• Coach-Player Multi-Agent Reinforcement Learning for Dynamic Team Composition [88.26752130107259]
  現実世界のマルチエージェントシステムでは、異なる能力を持つエージェントがチーム全体の目標を変更することなく参加または離脱する可能性がある。 この問題に取り組むコーチ・プレイヤー・フレームワーク「COPA」を提案します。 1)コーチと選手の両方の注意メカニズムを採用し、2)学習を正規化するための変動目標を提案し、3)コーチが選手とのコミュニケーションのタイミングを決定するための適応的なコミュニケーション方法を設計する。
  論文  参考訳（メタデータ） (2021-05-18T17:27:37Z)
• Generating Diverse and Competitive Play-Styles for Strategy Games [58.896302717975445]
  ターン型戦略ゲーム(Tribes)のためのプログレッシブアンプランによるPortfolio Monte Carlo Tree Searchを提案する。 品質分散アルゴリズム(MAP-Elites)を使用して異なるプレイスタイルを実現し、競争レベルを維持しながらパラメータ化する方法を示します。 その結果,このアルゴリズムは,トレーニングに用いるレベルを超えて,幅広いゲームレベルにおいても,これらの目標を達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-17T20:33:24Z)
• Efficient exploration of zero-sum stochastic games [83.28949556413717]
  ゲームプレイを通じて,ゲームの記述を明示せず,託宣のみにアクセス可能な,重要で一般的なゲーム解決環境について検討する。 限られたデュレーション学習フェーズにおいて、アルゴリズムは両方のプレイヤーのアクションを制御し、ゲームを学習し、それをうまくプレイする方法を学習する。 私たちのモチベーションは、クエリされた戦略プロファイルの支払いを評価するのにコストがかかる状況において、利用可能性の低い戦略を迅速に学習することにあります。
  論文  参考訳（メタデータ） (2020-02-24T20:30:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。