論文の概要: Deep Policy Networks for NPC Behaviors that Adapt to Changing Design Parameters in Roguelike Games

• arxiv url: http://arxiv.org/abs/2012.03532v1
• Date: Mon, 7 Dec 2020 08:47:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:49:39.949241
• Title: Deep Policy Networks for NPC Behaviors that Adapt to Changing Design Parameters in Roguelike Games
• Title（参考訳）: rogue様ゲームにおける設計パラメータの変更に対応するnpc行動のためのディープポリシーネットワーク
• Authors: Alessandro Sestini, Alexander Kuhnle and Andrew D. Bagdanov
• Abstract要約: 例えばRoguelikesのようなターンベースの戦略ゲームは、Deep Reinforcement Learning(DRL)にユニークな課題を提示する。 複雑なカテゴリ状態空間をより適切に処理し、設計決定によって強制的に再訓練する必要性を緩和する2つのネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 137.86426963572214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Deep Reinforcement Learning (DRL) have largely focused on improving the performance of agents with the aim of replacing humans in known and well-defined environments. The use of these techniques as a game design tool for video game production, where the aim is instead to create Non-Player Character (NPC) behaviors, has received relatively little attention until recently. Turn-based strategy games like Roguelikes, for example, present unique challenges to DRL. In particular, the categorical nature of their complex game state, composed of many entities with different attributes, requires agents able to learn how to compare and prioritize these entities. Moreover, this complexity often leads to agents that overfit to states seen during training and that are unable to generalize in the face of design changes made during development. In this paper we propose two network architectures which, when combined with a \emph{procedural loot generation} system, are able to better handle complex categorical state spaces and to mitigate the need for retraining forced by design decisions. The first is based on a dense embedding of the categorical input space that abstracts the discrete observation model and renders trained agents more able to generalize. The second proposed architecture is more general and is based on a Transformer network able to reason relationally about input and input attributes. Our experimental evaluation demonstrates that new agents have better adaptation capacity with respect to a baseline architecture, making this framework more robust to dynamic gameplay changes during development. Based on the results shown in this paper, we believe that these solutions represent a step forward towards making DRL more accessible to the gaming industry.
• Abstract（参考訳）: 深層強化学習(drl)の最近の進歩は、既知の、よく定義された環境で人間を置き換えることを目的として、エージェントのパフォーマンス向上に重点を置いている。 ビデオゲーム制作におけるゲームデザインツールとしてのこれらの技術の利用は、その代わりにNon-Player Character (NPC) 行動を作成することを目的としており、近年まであまり注目されていない。 例えば、Roguelikesのようなターンベースの戦略ゲームは、DRLに固有の課題を提示する。 特に、それらの複雑なゲーム状態のカテゴリー的性質は、異なる属性を持つ多くのエンティティで構成されており、エージェントはこれらのエンティティの比較と優先順位付けの方法を学べる必要がある。 さらに、この複雑さはトレーニング中に見られる状態に過度に適合し、開発中の設計変更に直面して一般化できないエージェントに繋がることが多い。 本稿では,2つのネットワークアーキテクチャを提案する。2つのネットワークアーキテクチャを,\emph{procedural loot generation}システムと組み合わせることで,複雑な分類的状態空間をよりうまく処理し,設計決定によって強制される再訓練の必要性を軽減する。 ひとつは、離散観測モデルを抽象化し、訓練されたエージェントをより一般化するカテゴリリーな入力空間の密な埋め込みに基づいている。 第2のアーキテクチャはより汎用的で、入力属性と入力属性の関係を推論できるトランスフォーマネットワークに基づいている。 実験により,新しいエージェントはベースラインアーキテクチャに対する適応能力が向上し,このフレームワークが開発中に動的ゲームプレイの変化に対してより堅牢であることを示す。 本論文では,DRLをゲーム業界でより利用しやすいものにするためのステップとして,これらのソリューションが提案されている。

関連論文リスト

• Scaling Laws for Imitation Learning in Single-Agent Games [29.941613597833133]
  我々は,モデルとデータサイズを慎重にスケールアップすることで,シングルエージェントゲームにおける模倣学習環境に類似した改善がもたらされるかどうかを検討する。 われわれはまずAtariのさまざまなゲームについて実験を行い、その後NetHackの非常に挑戦的なゲームに焦点を当てた。 IL損失と平均戻り値は計算予算とスムーズに一致し,相関関係が強く,計算最適ILエージェントの訓練には電力法則が適用されることがわかった。
  論文  参考訳（メタデータ） (2023-07-18T16:43:03Z)
• Probing Transfer in Deep Reinforcement Learning without Task Engineering [26.637254541454773]
  深部強化学習エージェントのための異種変換ベンチマークとして,Atari 2600コンソールがサポートするオリジナルゲームキュリキュラの評価を行った。 ゲームデザイナーは、Space Invaders、Breakout、Freewayといったゲームの基本バージョンにいくつかの個別の修正を加えてキュリキュラを作成した。 基本ゲームからそれらのバリエーションへのゼロショット転送は可能であるが、性能のばらつきは要因間の相互作用によって大きく説明される。
  論文  参考訳（メタデータ） (2022-10-22T13:40:12Z)
• Multi-Game Decision Transformers [49.257185338595434]
  そこで本研究では,1つのトランスフォーマーモデルを用いて,最大46個のAtariゲーム群を,人間に近いパフォーマンスで同時にプレイ可能であることを示す。 オンラインやオフラインのRL手法や行動クローンなど,マルチゲーム設定におけるいくつかのアプローチを比較した。 マルチゲーム決定変換モデルは、最高のスケーラビリティとパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2022-05-30T16:55:38Z)
• Improving Sample Efficiency of Value Based Models Using Attention and Vision Transformers [52.30336730712544]
  性能を犠牲にすることなくサンプル効率を向上させることを目的とした深層強化学習アーキテクチャを提案する。 状態表現の特徴マップ上の自己注意機構を変換器を用いて学習する視覚的注意モデルを提案する。 我々は,このアーキテクチャがいくつかのAtari環境におけるサンプルの複雑さを向上すると同時に,いくつかのゲームにおいて優れたパフォーマンスを実現することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-02-01T19:03:03Z)
• Mimicking Playstyle by Adapting Parameterized Behavior Trees in RTS Games [0.0]
  行動木(BT)は、ゲームにおける人工知能(AI)の分野に影響を与えた。 BTは手作りのBTの複雑さをほとんど難なくし、エラーを起こしやすくした。 この分野の最近のトレンドはAIエージェントの自動作成に焦点を当てている。 本稿では,人間のゲームプレイを模倣し一般化する,AIエージェントの半自動構築手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T20:36:28Z)
• Goal-Directed Design Agents: Integrating Visual Imitation with One-Step Lookahead Optimization for Generative Design [0.0]
  このノートは、設計を逐次生成するための学習戦略を強化することができる目標指向エージェントを開発するために、DLAgentsの上に構築されている。 ゴール指向のDLAgentは、データから学んだ人間の戦略と、目的関数の最適化を利用することができる。 これは、学習した設計戦略を強化するだけでなく、目に見えない設計問題にも適応できる、フィードバックを効率的に利用できるデザインエージェントフレームワークを示している。
  論文  参考訳（メタデータ） (2021-10-07T07:13:20Z)
• DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games [137.86426963572214]
  Deep CrawlはiOSとAndroid用の完全にプレイ可能なRogueライクなプロトタイプで、すべてのエージェントがDeep Reinforcement Learning (DRL)を使用してトレーニングされたポリシーネットワークによって制御される。 本研究の目的は、近年のDRLの進歩が、ビデオゲームにおける非プレイヤーキャラクターに対する説得力のある行動モデルの開発に有効であるかどうかを理解することである。
  論文  参考訳（メタデータ） (2020-12-03T13:53:29Z)
• Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
  本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。 ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
  論文  参考訳（メタデータ） (2020-05-25T14:10:17Z)
• Learn to Interpret Atari Agents [106.21468537372995]
  リージョン・センシティブ・レインボー(Rerea-sensitive Rainbow、RS-Rainbow)は、Qネットワークの強力なエージェントであるレインボーをベースとした、エンドツーエンドのトレーニング可能なネットワークである。 提案するエージェントは地域感応性レインボー (RS-Rainbow) と名付けられ, 強力なQネットワークエージェントであるレインボーをベースとしたエンド・ツー・エンドのトレーニング可能なネットワークである。
  論文  参考訳（メタデータ） (2018-12-29T03:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。