論文の概要: Hierarchical Reinforcement Learning in StarCraft Micromanagement with Influence Maps and Cluster-based Scripts

• arxiv url: http://arxiv.org/abs/2606.30092v1
• Date: Mon, 29 Jun 2026 10:29:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.178484
• Title: Hierarchical Reinforcement Learning in StarCraft Micromanagement with Influence Maps and Cluster-based Scripts
• Title（参考訳）: 影響マップとクラスタベースのスクリプトを用いたStarCraftマイクロマネジメントにおける階層的強化学習
• Abstract要約: リアルタイム戦略ゲームは、拡張されたステートアクション空間を特徴とする、重要なAI課題を提示する。 本稿では,StarCraftマイクロマネジメントのための影響マップハッシュとクラスタベースのスクリプトを備えた階層型強化学習フレームワークHRL-IM/CBSを提案する。
• 参考スコア（独自算出の注目度）: 8.819749837694363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time strategy (RTS) games present significant AI challenges, characterized by expansive state-action spaces arising from multi-unit coordination in continuous battlefields, and sparse delayed rewards stemming from final win/lose signals. Existing approaches face a trade-off between managing the dimensionality explosion of joint actions and maintaining the interpretability of complex state representations. This complexity is further intensified by the limitation of traditional hierarchical structures in adaptively decomposing tasks into effective tactical modules. Such difficulties are compounded by the black-box nature of deep learning models and their reliance on sparse rewards, which together result in limited sample efficiency and a lack of decision-making transparency. To address these limitations, this paper proposes HRL-IM/CBS, a hierarchical reinforcement learning framework with influence map hashing and cluster-based scripts for StarCraft micromanagement. Influence map hashing encodes global battlefield situations into compact hexadecimal codes, capturing spatial control and relative advantage. Cluster-based scripts enable dynamic local coordination through adaptive unit partitioning. The hierarchical multi-Q-table architecture decomposes decision-making into upper-level clustering strategy selection and lower-level tactical execution, with reward allocation providing dense learning signals. Experiments across six asymmetric scenarios demonstrate competitive performance against deep RL baselines while offering advantages in sample efficiency and interpretability through transparent Q-table representations.
• Abstract（参考訳）: リアルタイム戦略(RTS: Real-time Strategy)ゲームは、連続戦場におけるマルチユニット調整から生じる広範な状態-アクション空間と、最終的な勝利/敗戦信号から生じる少ない遅延報酬を特徴とする、重要なAI課題を示す。 既存のアプローチは、共同行動の次元的爆発を管理することと、複雑な状態表現の解釈可能性を維持することのトレードオフに直面している。 この複雑さは、タスクを効果的な戦術的加群に適応的に分解する伝統的な階層構造の制限によってさらに強化される。 このような困難は、深層学習モデルのブラックボックスの性質と、スパース報酬への依存によって複雑化され、結果としてサンプル効率が制限され、意思決定の透明性が欠如する。 これらの制約に対処するため, HRL-IM/CBSという階層型強化学習フレームワークを提案し, 影響マップのハッシュとクラスタベースのスクリプトをStarCraftのマイクロマネジメントに適用した。 影響マップハッシュは、世界戦場の状況をコンパクトな六進法コードにエンコードし、空間制御と相対的優位性をキャプチャする。 クラスタベースのスクリプトは、適応的なユニットパーティショニングを通じて動的ローカル調整を可能にする。 階層的なマルチQテーブルアーキテクチャは、決定を上位レベルのクラスタリング戦略選択と下位レベルの戦術実行に分解し、報酬アロケーションは高密度な学習信号を提供する。 6つの非対称なシナリオに対する実験は、透過的なQテーブル表現によるサンプル効率と解釈可能性の利点を提供しながら、深いRLベースラインに対する競合性能を示す。

関連論文リスト

• SAT-RTS: A systematic framework for tactical knowledge extraction and visualization-based analysis in real-time strategy games [9.443838053636926]
  状態-行動-戦術分析パイプライン(SAT-RTS)と呼ばれる体系的フレームワークを提案する。 解釈可能な可視化と高次元シーケンスデータから潜在戦術パターンの自動抽出を統合する。 これらの計算手法を階層的な可視化ベースパイプラインに統合することにより,大規模リアルタイムデータストリーム処理の課題を効果的に解決する。
  論文  参考訳（メタデータ） (2026-06-29T10:28:43Z)
• Chaotic Contrastive Learning for Robust Texture Classification [0.0]
  本稿では,自己指導型学習と決定論的カオス力学を相乗化する新しい枠組みを提案する。 本稿では,画素単位のカオスマップが非線形データ拡張手法として機能する,カオス的コントラスト事前学習戦略を提案する。 6つのテクスチャベンチマーク実験の結果,提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2026-05-06T15:11:28Z)
• Smart Commander: A Hierarchical Reinforcement Learning Framework for Fleet-Level PHM Decision Optimization [6.029264044194714]
  本稿では,シーケンシャルなメンテナンスとロジスティクスの決定を最適化する新しい階層強化学習(HRL)フレームワークであるSmart Commanderを提案する。 このフレームワークは、複雑な制御問題を2階層の階層に分解する: 戦略総司令官は、艦隊レベルの可用性とコスト目標を管理し、戦術作戦コマンドは、ソート生成、メンテナンススケジューリング、リソース割り当てのための特定のアクションを実行する。 実証的な評価によると、Smart Commanderは従来のモノリシックなDeepReinforcement Learning(DRL)とルールベースのベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2026-04-08T15:00:12Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
  既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。 このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。 我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:41:36Z)
• Reinforcement Learning for Decision-Level Interception Prioritization in Drone Swarm Defense [51.736723807086385]
  本稿では,この課題に対処する上で,強化学習の実践的メリットを示すケーススタディを提案する。 本研究では,現実的な運用制約を捉えた高忠実度シミュレーション環境を提案する。 エージェントは最適なインターセプション優先順位付けのために複数のエフェクターを調整することを学ぶ。 我々は、何百ものシミュレートされた攻撃シナリオにおいて、手作りルールベースのベースラインに対する学習ポリシーを評価する。
  論文  参考訳（メタデータ） (2025-08-01T13:55:39Z)
• Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning Framework for Congestion Control in Tactical Environments [53.08686495706487]
  本稿では, 正確な並列化可能なエミュレーション環境を利用して, 戦術ネットワークの環境を再現するRLフレームワークを提案する。 衛星通信(SATCOM)とUHFワイドバンド(UHF)の無線リンク間のボトルネックリンク遷移を再現した条件下で、MARLINエージェントを訓練することにより、我々のRL学習フレームワークを評価する。
  論文  参考訳（メタデータ） (2023-06-27T16:15:15Z)
• Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
  我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。 本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:47:52Z)
• Unsupervised Domain Adaptation in Semantic Segmentation via Orthogonal and Clustered Embeddings [25.137859989323537]
  本稿では,機能クラスタリング手法に基づく効果的なUnsupervised Domain Adaptation(UDA)戦略を提案する。 識別的クラスタリング性能を高めるために,2つの新しい学習目標を導入する。
  論文  参考訳（メタデータ） (2020-11-25T10:06:22Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)
• Deep hierarchical pooling design for cross-granularity action recognition [14.696233190562936]
  本稿では,行動認識における時間的粒度の異なる階層的アグリゲーション設計を提案する。 制約最小化問題の解法により,このネットワークにおける演算の組み合わせを学習する。 原則と基礎が整っただけでなく、提案された階層的なプーリングもビデオ長であり、動作のミスアライメントに耐性がある。
  論文  参考訳（メタデータ） (2020-06-08T11:03:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。