Fugu-MT 論文翻訳(概要): Autoverse: An Evolvable Game Langugage for Learning Robust Embodied Agents

論文の概要: Autoverse: An Evolvable Game Langugage for Learning Robust Embodied Agents

arxiv url: http://arxiv.org/abs/2407.04221v1
Date: Fri, 5 Jul 2024 02:18:02 GMT
ステータス: 処理完了
システム内更新日: 2024-07-08 14:41:15.166245
Title: Autoverse: An Evolvable Game Langugage for Learning Robust Embodied Agents
Title（参考訳）: Autoverse:ロバストなエージェントを学習するための進化可能なゲームランゲージ
Authors: Sam Earle, Julian Togelius,
Abstract要約: シングルプレイヤ2Dグリッドベースのゲームのための,進化可能なドメイン固有言語であるAutoverseを紹介する。オープンエンデッドラーニング(OEL)アルゴリズムのスケーラブルなトレーニンググラウンドとしての利用を実証する。
参考スコア（独自算出の注目度）: 2.624282086797512
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Autoverse, an evolvable, domain-specific language for single-player 2D grid-based games, and demonstrate its use as a scalable training ground for Open-Ended Learning (OEL) algorithms. Autoverse uses cellular-automaton-like rewrite rules to describe game mechanics, allowing it to express various game environments (e.g. mazes, dungeons, sokoban puzzles) that are popular testbeds for Reinforcement Learning (RL) agents. Each rewrite rule can be expressed as a series of simple convolutions, allowing for environments to be parallelized on the GPU, thereby drastically accelerating RL training. Using Autoverse, we propose jump-starting open-ended learning by imitation learning from search. In such an approach, we first evolve Autoverse environments (their rules and initial map topology) to maximize the number of iterations required by greedy tree search to discover a new best solution, producing a curriculum of increasingly complex environments and playtraces. We then distill these expert playtraces into a neural-network-based policy using imitation learning. Finally, we use the learned policy as a starting point for open-ended RL, where new training environments are continually evolved to maximize the RL player agent's value function error (a proxy for its regret, or the learnability of generated environments), finding that this approach improves the performance and generality of resultant player agents.
Abstract（参考訳）: シングルプレイヤーの2Dグリッドベースのゲームのための進化可能なドメイン固有言語であるAutoverseを導入し、Open-Ended Learning (OEL)アルゴリズムのスケーラブルなトレーニンググラウンドとしての利用を実証する。 Autoverseはセルラーオートマトンのようなリライトルールを使用してゲームメカニックを記述し、強化学習(RL)エージェントの一般的なテストベッドである様々なゲーム環境(例えば迷路、ダンジョン、ソコバンパズル)を表現できる。各リライトルールは一連の単純な畳み込みとして表現することができ、GPU上で環境を並列化することで、RLトレーニングを劇的に加速することができる。本稿では,Autoverseを用いて,探索からの模倣学習によるジャンプ開始型オープンエンド学習を提案する。このようなアプローチでは、まずAutoverse環境(ルールと初期地図トポロジー)を進化させ、グリージーツリー探索に必要なイテレーション数を最大化し、新しい最良のソリューションを発見し、ますます複雑な環境とプレイトレイスのカリキュラムを作成します。次に、これらの専門家のプレイトレースを模倣学習を用いてニューラルネットワークベースのポリシーに蒸留する。最後に、学習したポリシーをオープンエンドRLの出発点として使用し、新たなトレーニング環境を継続的に進化させ、RLプレーヤの値関数エラー(後悔のプロキシ、あるいは生成された環境の学習可能性)を最大化する。

関連論文リスト

Accelerate Multi-Agent Reinforcement Learning in Zero-Sum Games with Subgame Curriculum Learning [65.36326734799587]
ゼロサムゲームのための新しいサブゲームカリキュラム学習フレームワークを提案する。エージェントを以前に訪れた状態にリセットすることで、適応的な初期状態分布を採用する。我々は,2乗距離をNE値に近似するサブゲーム選択指標を導出する。
論文参考訳（メタデータ） (2023-10-07T13:09:37Z)
Mechanic Maker 2.0: Reinforcement Learning for Evaluating Generated Rules [5.9135869246353305]
ルール生成のための人間遊びの近似器として強化学習の適用について検討する。従来のAGD環境であるMechanic Maker in Unityを,新たなオープンソースルール生成フレームワークとして再現する。
論文参考訳（メタデータ） (2023-09-18T04:15:09Z)
Scaling Laws for Imitation Learning in Single-Agent Games [29.941613597833133]
我々は,モデルとデータサイズを慎重にスケールアップすることで,シングルエージェントゲームにおける模倣学習環境に類似した改善がもたらされるかどうかを検討する。われわれはまずAtariのさまざまなゲームについて実験を行い、その後NetHackの非常に挑戦的なゲームに焦点を当てた。 IL損失と平均戻り値は計算予算とスムーズに一致し,相関関係が強く,計算最適ILエージェントの訓練には電力法則が適用されることがわかった。
論文参考訳（メタデータ） (2023-07-18T16:43:03Z)
SPRING: Studying the Paper and Reasoning to Play Games [102.5587155284795]
我々は,ゲーム本来の学術論文を読み取るための新しいアプローチ,SPRINGを提案し,大言語モデル(LLM)を通してゲームの説明とプレイの知識を利用する。実験では,クラフトオープンワールド環境の設定下で,異なる形態のプロンプトによって引き起こされる文脈内「推論」の品質について検討した。我々の実験は、LLMが一貫したチェーン・オブ・シークレットによって誘導されると、洗練された高レベル軌道の完成に大きな可能性があることを示唆している。
論文参考訳（メタデータ） (2023-05-24T18:14:35Z)
Learning to Play Text-based Adventure Games with Maximum Entropy Reinforcement Learning [4.698846136465861]
我々はテキストベースの環境にソフト・アクター・クリティック(SAC)アルゴリズムを適用する。報酬形成技術は、エージェントがポリシーをより早く学習し、より高いスコアを得るのに役立つことを示す。
論文参考訳（メタデータ） (2023-02-21T15:16:12Z)
Discovering Multi-Agent Auto-Curricula in Two-Player Zero-Sum Games [31.97631243571394]
明示的な人間設計なしに更新ルールの発見を自動化するフレームワークであるLMACを導入する。意外なことに、人間のデザインがなくても、発見されたMARLアルゴリズムは競争力や性能が向上する。 LMAC は,例えば Kuhn Poker のトレーニングやPSRO の成績など,小型ゲームから大規模ゲームへの一般化が可能であることを示す。
論文参考訳（メタデータ） (2021-06-04T22:30:25Z)
Deep Policy Networks for NPC Behaviors that Adapt to Changing Design Parameters in Roguelike Games [137.86426963572214]
例えばRoguelikesのようなターンベースの戦略ゲームは、Deep Reinforcement Learning(DRL)にユニークな課題を提示する。複雑なカテゴリ状態空間をより適切に処理し、設計決定によって強制的に再訓練する必要性を緩和する2つのネットワークアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-12-07T08:47:25Z)
DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games [137.86426963572214]
Deep CrawlはiOSとAndroid用の完全にプレイ可能なRogueライクなプロトタイプで、すべてのエージェントがDeep Reinforcement Learning (DRL)を使用してトレーニングされたポリシーネットワークによって制御される。本研究の目的は、近年のDRLの進歩が、ビデオゲームにおける非プレイヤーキャラクターに対する説得力のある行動モデルの開発に有効であるかどうかを理解することである。
論文参考訳（メタデータ） (2020-12-03T13:53:29Z)
Discovering Reinforcement Learning Algorithms [53.72358280495428]
強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。本稿では,更新ルール全体を検出するメタラーニング手法を提案する。これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
論文参考訳（メタデータ） (2020-07-17T07:38:39Z)
The NetHack Learning Environment [79.06395964379107]
本稿では、強化学習研究のための手続き的に生成されたローグのような環境であるNetHack Learning Environment(NLE)を紹介する。我々は,NetHackが,探索,計画,技術習得,言語条件付きRLといった問題に対する長期的な研究を促進するのに十分複雑であると主張している。我々は,分散されたDeep RLベースラインとランダムネットワーク蒸留探索を用いて,ゲームの初期段階における実験的な成功を示す。
論文参考訳（メタデータ） (2020-06-24T14:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。