Fugu-MT 論文翻訳(概要): LLM-Guided Reinforcement Learning for Adaptive NPC Behavior in Multi-Agent Combat Games

論文の概要: LLM-Guided Reinforcement Learning for Adaptive NPC Behavior in Multi-Agent Combat Games

arxiv url: http://arxiv.org/abs/2609.02931v1
Date: Thu, 27 Aug 2026 07:17:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-04 18:28:38.795507
Title: LLM-Guided Reinforcement Learning for Adaptive NPC Behavior in Multi-Agent Combat Games
Title（参考訳）: マルチエージェント・コンバットゲームにおける適応NPC動作のためのLLM誘導強化学習
Abstract要約: 大規模言語モデル(LLM)が基礎となる動作を変更することなく、訓練されたRLポリシーをガイドする実行時戦略選択フレームワークについて検討する。我々は,600話にまたがる3つのスクリプト型に対して,どちらの構成も評価し,Mann-Whitney U テストを用いて結果を分析した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Scripted and rule-based non-player characters (NPCs) in combat video games often exhibit predictable behaviors that experienced players can exploit, while reinforcement learning (RL) agents typically retain a fixed policy after training and cannot readily adapt their strategy to different opponents. We investigate a runtime strategy-selection framework in which a large language model (LLM) guides a trained RL policy without modifying its underlying behavior. To demonstrate this, we train five NPC agents with a shared PPO policy in Unity and compare a baseline configuration, in which the policy acts independently, with an LLM-augmented configuration in which a locally hosted Mistral 7B model, accessed through Ollama, reads the live game state every five seconds and assigns one of four tactical tags. We evaluate both configurations against three scripted opponent types across 600 episodes and analyze outcomes using the Mann-Whitney U test. Against a Balanced opponent that changes tactics during an episode, the LLM-augmented agents more than doubled their win rate from 11% to 24% and produced significantly longer episodes. Against an Evasive opponent, the augmented agents achieved a higher win rate and faster kills, although their shorter episode duration did not satisfy the strict hypothesis definition. Against an Aggressive opponent, the LLM's near-constant preference for encirclement was counterproductive. Analysis of 2,430 strategy selections showed that Surround was selected in 83.8% of cases regardless of opponent type, indicating limited zero-shot strategic differentiation at this model scale. These results demonstrate both the potential and limitations of LLM-guided runtime strategy selection for adaptive multi-agent game AI.
Abstract（参考訳）: 戦闘ビデオゲームにおけるスクリプトおよびルールベースの非プレイヤーキャラクター(NPC)は、経験豊富なプレイヤーが活用できる予測可能な振る舞いを示すことが多いが、強化学習(RL)エージェントは通常、トレーニング後に固定されたポリシーを保持し、異なる相手に戦略を適応できない。大規模言語モデル(LLM)が基礎となる動作を変更することなく、訓練されたRLポリシーをガイドする実行時戦略選択フレームワークについて検討する。これを示すために、我々は、Unityで共有PPOポリシーを持つ5つのNPCエージェントを訓練し、ポリシーが独立して機能するベースライン構成と、ローカルにホストされたMistral 7BモデルがOllamaを介してアクセスされ、5秒毎にライブゲーム状態を読み取って、4つの戦術タグのうちの1つを割り当てるLLM拡張構成とを比較した。我々は,600話にまたがる3つのスクリプト型に対して,どちらの構成も評価し,Mann-Whitney U テストを用いて結果を分析した。エピソード中に戦術を変えるバランスの取れた相手に対して、LLM増強されたエージェントは勝利率を11%から24%に倍増させ、エピソードをはるかに長くした。攻撃的相手に対して、強化されたエージェントはより高い勝利率とより高速な殺しを達成したが、その短いエピソードは厳密な仮説定義を満たさなかった。攻撃的相手に対して、LLMの包囲に対するほぼ一貫した嗜好は非生産的であった。 2,430の戦略選択の分析では、Surroundは相手の種類に関わらず83.8%のケースで選択され、このモデルスケールでのゼロショット戦略の区別が限定された。これらの結果から,適応型マルチエージェントゲームAIにおけるLLM誘導型実行戦略選択の可能性と限界が示された。

関連論文リスト

MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。 Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文参考訳（メタデータ） (2026-05-28T07:33:47Z)
StratFormer: Adaptive Opponent Modeling and Exploitation in Imperfect-Information Games [0.8574682463936006]
StratFormerはトランスフォーマーベースのメタエージェントで、不完全な情報ゲームで対戦相手を同時にモデル化し、活用することを学ぶ。 StratFormer は GTO 上で1人当たり平均 0.106 BB の攻撃ゲインを達成し、高い攻撃力を持つ相手に対して 0.821 のピークゲインを達成している。
論文参考訳（メタデータ） (2026-04-28T16:03:14Z)
Learning Controllable and Diverse Player Behaviors in Multi-Agent Environments [0.0]
本稿では,人間のゲームプレイデータに頼らずに,制御可能かつ多様なプレイヤ動作を可能にする強化学習フレームワークを提案する。我々はN次元連続空間におけるプレイヤーの行動を定義し、実際の人間のスタイルを表すサブセットを含む領域からターゲットの行動ベクトルを均一にサンプリングする。単一のPPOベースのマルチエージェントポリシーは、再トレーニングすることなく、新しいまたは見えないプレイスタイルを再現することができる。
論文参考訳（メタデータ） (2025-12-11T17:26:24Z)
Enhancing Language Agent Strategic Reasoning through Self-Play in Adversarial Games [60.213483076150844]
本稿では,PLAY-And-Learn,SCO-PALを用いたステップレベルのポリCy最適化手法を提案する。対戦相手を異なるレベルに設定することで、対戦相手の選択を詳細に分析し、戦略的推論を改善する最も効果的な方法が自己プレーであることを見出した。我々は6試合でGPT-4に対して54.76%の勝利率を達成した。
論文参考訳（メタデータ） (2025-10-19T09:03:28Z)
Beyond Survival: Evaluating LLMs in Social Deduction Games with Human-Aligned Strategies [54.08697738311866]
Werewolfのようなソーシャル推論ゲームは、言語、推論、戦略を組み合わせている。我々は,100時間以上のビデオ,32.4M発声トークン,15の規則変種を含む高品質で人間認証されたWerewolfデータセットをキュレートした。本稿では,勝利派戦略を2段階の真理として活用する新たな戦略調整評価法を提案する。
論文参考訳（メタデータ） (2025-10-13T13:33:30Z)
PillagerBench: Benchmarking LLM-Based Agents in Competitive Minecraft Team Environments [48.892997022500765]
PillagerBenchは、Minecraftのリアルタイムの競合チーム-vs-チームシナリオでマルチエージェントシステムを評価するフレームワークである。また,LLMベースのマルチエージェントシステムであるTactiCrafterを提案する。評価の結果、TactiCrafterはベースラインのアプローチよりも優れており、自己学習による適応学習を誇示している。
論文参考訳（メタデータ） (2025-09-07T22:51:12Z)
Preference-based opponent shaping in differentiable games [3.373994463906893]
そこで我々は,エージェントの嗜好を協調に向けて形作ることによって,戦略学習プロセスを強化するためのPBOS法を提案する。様々な異なるゲームにおいてPBOSアルゴリズムの性能を検証する。
論文参考訳（メタデータ） (2024-12-04T06:49:21Z)
Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。 GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
論文参考訳（メタデータ） (2024-07-05T12:30:02Z)
All by Myself: Learning Individualized Competitive Behaviour with a Contrastive Reinforcement Learning optimization [57.615269148301515]
競争ゲームのシナリオでは、エージェントのセットは、彼らの目標を最大化し、敵の目標を同時に最小化する決定を学習する必要があります。本稿では,競争ゲームの表現を学習し,特定の相手の戦略をどうマップするか,それらを破壊するかを学習する3つのニューラルネットワーク層からなる新しいモデルを提案する。我々の実験は、オフライン、オンライン、競争特化モデル、特に同じ対戦相手と複数回対戦した場合に、我々のモデルがより良いパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2023-10-02T08:11:07Z)
L2E: Learning to Exploit Your Opponent [66.66334543946672]
本稿では,暗黙的対向モデリングのための新しい学習フレームワークを提案する。 L2Eは、トレーニング中に異なる相手との対話によって、相手を悪用する能力を取得する。本稿では, 対戦相手を自動的に生成する新しい対戦相手戦略生成アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-02-18T14:27:59Z)
Learning to Model Opponent Learning [11.61673411387596]
マルチエージェント強化学習(MARL: Multi-Agent Reinforcement Learning)は、一組の共存エージェントが相互とその環境と相互作用する設定を考える。これは、通常、収束が定常環境の仮定に依存する値関数ベースのアルゴリズムにとって大きな課題となる。我々は、モデルポンポント学習(LeMOL)と呼ばれる、対戦者の学習力学をモデル化するための新しいアプローチを開発する。
論文参考訳（メタデータ） (2020-06-06T17:19:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。