論文の概要: VLMs Play StarCraft II: A Benchmark and Multimodal Decision Method

• arxiv url: http://arxiv.org/abs/2503.05383v2
• Date: Sat, 15 Mar 2025 09:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:56:45.241501
• Title: VLMs Play StarCraft II: A Benchmark and Multimodal Decision Method
• Title（参考訳）: VLMs Play StarCraft II: ベンチマークとマルチモーダル決定方法
• Authors: Weiyu Ma, Yuqian Fu, Zecheng Zhang, Guohao Li, Bernard Ghanem,
• Abstract要約: VLM-Attentionは、人工エージェントの知覚と人間のゲームプレイ体験を協調するマルチモーダル環境である。 基礎モデルを用いたVLMベースのエージェントは、明示的な訓練をすることなく複雑な戦術的操作を実行できることを示す。 この研究は、人間と協調したStarCraft IIエージェントを開発するための基盤を確立し、マルチモーダルゲームAIの幅広い研究課題を前進させる。
• 参考スコア（独自算出の注目度）: 56.07921367623274
• License:
• Abstract: We introduce VLM-Attention, a multimodal StarCraft II environment that aligns artificial agent perception with the human gameplay experience. Traditional frameworks such as SMAC rely on abstract state representations that diverge significantly from human perception, limiting the ecological validity of agent behavior. Our environment addresses this limitation by incorporating RGB visual inputs and natural language observations that more closely simulate human cognitive processes during gameplay. The VLM-Attention framework consists of three integrated components: (1) a vision-language model enhanced with specialized self-attention mechanisms for strategic unit targeting and battlefield assessment, (2) a retrieval-augmented generation system that leverages domain-specific StarCraft II knowledge to inform tactical decisions, and (3) a dynamic role-based task distribution system that enables coordinated multi-agent behavior. Our experimental evaluation across 21 custom scenarios demonstrates that VLM-based agents powered by foundation models (specifically Qwen-VL and GPT-4o) can execute complex tactical maneuvers without explicit training, achieving comparable performance to traditional MARL methods that require substantial training iterations. This work establishes a foundation for developing human-aligned StarCraft II agents and advances the broader research agenda of multimodal game AI. Our implementation is available at https://github.com/camel-ai/VLM-Play-StarCraft2.
• Abstract（参考訳）: VLM-Attentionは,人工エージェント認識と人間のゲームプレイ体験を協調させるマルチモーダルなStarCraft II環境である。 SMACのような伝統的なフレームワークは、人間の知覚と大きく異なる抽象状態表現に依存しており、エージェントの行動の生態学的妥当性を制限している。 我々の環境は、ゲームプレイ中に人間の認知過程をより密にシミュレートするRGB視覚入力と自然言語観察を取り入れることで、この制限に対処する。 VLM-Attention frameworkは,(1)戦略単位のターゲティングと戦場評価のための特殊な自己注意機構を付加した視覚言語モデル,(2)ドメイン固有のStarCraft II知識を活用して戦術的決定を通知する検索拡張生成システム,(3)協調型マルチエージェント行動を可能にする動的ロールベースのタスク配信システム,の3つの統合コンポーネントから構成される。 我々は, 基礎モデル(特にQwen-VLとGPT-4o)をベースとしたVLMエージェントが, 明示的な訓練を伴わずに複雑な戦術的操作を行えることを示した。 この研究は、人間と協調したStarCraft IIエージェントを開発するための基盤を確立し、マルチモーダルゲームAIの幅広い研究課題を前進させる。 私たちの実装はhttps://github.com/camel-ai/VLM-Play-StarCraft2.comで公開されています。

関連論文リスト

• LLM-PySC2: Starcraft II learning environment for Large Language Models [16.918044347226104]
  本稿では,Large Language Models(LLM)に基づく意思決定手法の開発を支援する新しい環境を提案する。 この環境はStarCraft IIのアクションスペース、マルチモーダルな観察インタフェース、構造化されたゲーム知識データベースを提供する最初のものである。
  論文  参考訳（メタデータ） (2024-11-08T06:04:22Z)
• Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
  脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。 現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。 本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T21:00:30Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• Large Language Models Play StarCraft II: Benchmarks and A Chain of Summarization Approach [7.693497788883165]
  VoyageやMetaGPTのような大規模言語モデル(LLM)エージェントは、複雑なタスクを解く大きな可能性を示す。 本稿では,生観測処理のための単一フレーム要約と,ゲーム情報解析のための多フレーム要約を含む要約手法を提案する。 1. LLMはStarCraft IIのシナリオに対処するのに必要な知識と複雑な計画能力を持っている; 2. 人間の専門家は、LLMエージェントのパフォーマンスは、StarCraft IIを8年間プレイした平均的なプレイヤーのそれに近いと考えている; 3. LLMエージェントはAIで構築されたエージェントを倒すことができる。
  論文  参考訳（メタデータ） (2023-12-19T05:27:16Z)
• Mimicking To Dominate: Imitation Learning Strategies for Success in Multiagent Competitive Games [13.060023718506917]
  我々は、対戦者の次の動きを予測するための新しいマルチエージェント模倣学習モデルを開発する。 また、模倣学習モデルとポリシートレーニングを組み合わせた、新しいマルチエージェント強化学習アルゴリズムを1つのトレーニングプロセスに導入する。 実験結果から,本手法は既存のマルチエージェントRLアルゴリズムと比較して性能が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-08-20T07:30:13Z)
• Adaptive action supervision in reinforcement learning from real-world multi-agent demonstrations [10.174009792409928]
  マルチエージェントシナリオにおける実世界の実演からRLにおける適応的行動監視手法を提案する。 実験では,未知のソースとターゲット環境の異なるダイナミックスを用いて,チェイス・アンド・エスケープとフットボールのタスクを用いて,本手法がベースラインと比較して一般化能力と一般化能力のバランスを保っていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T13:33:37Z)
• Semantic Tracklets: An Object-Centric Representation for Visual Multi-Agent Reinforcement Learning [126.57680291438128]
  本研究では,不整合表現によるスケーラビリティの実現について検討する。 視覚多エージェント粒子環境(VMPE)と視覚多エージェントGFootball環境における意味トラックレット'の評価を行った。 特に,この手法は視覚データのみを用いて,GFootball環境における5人のプレイヤーの戦略を学習した最初の方法である。
  論文  参考訳（メタデータ） (2021-08-06T22:19:09Z)
• From Motor Control to Team Play in Simulated Humanoid Football [56.86144022071756]
  我々は、現実的な仮想環境でサッカーをするために、物理的にシミュレートされたヒューマノイドアバターのチームを訓練する。 一連の段階において、プレイヤーはまず、現実的な人間のような動きを実行するために、完全に関節化された身体を制御することを学習する。 その後、ドリブルやシューティングといった中級のサッカーのスキルを身につける。 最後に、彼らは他の人を意識し、チームとしてプレーし、ミリ秒のタイムスケールで低レベルのモーターコントロールのギャップを埋める。
  論文  参考訳（メタデータ） (2021-05-25T20:17:10Z)
• Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations [55.41644538483948]
  本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。 提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。 私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-06-17T15:38:40Z)
• Neural MMO v1.3: A Massively Multiagent Game Environment for Training and Evaluating Neural Networks [48.5733173329785]
  本稿では,MMOにインスパイアされたマルチエージェントゲーム環境であるNeural MMOを紹介する。 分散インフラストラクチャとゲームIOという,AI研究のためのマルチエージェントシステムエンジニアリングにおける,より一般的な2つの課題について論じる。
  論文  参考訳（メタデータ） (2020-01-31T18:50:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。