論文の概要: Avalon: A Benchmark for RL Generalization Using Procedurally Generated Worlds

• arxiv url: http://arxiv.org/abs/2210.13417v1
• Date: Mon, 24 Oct 2022 17:34:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 14:30:48.516324
• Title: Avalon: A Benchmark for RL Generalization Using Procedurally Generated Worlds
• Title（参考訳）: avalon:手続き生成世界を用いたrl一般化ベンチマーク
• Authors: Joshua Albrecht, Abraham J. Fetterman, Bryden Fogelman, Ellie Kitanidis, Bartosz Wr\'oblewski, Nicole Seo, Michael Rosenthal, Maksis Knutins, Zachary Polizzi, James B. Simon, Kanjun Qiu
• Abstract要約: アバロン(英: Avalon)は、プロシージャ3D世界のエンボディエージェントが、地形をナビゲートしたり、狩猟したり、食料を収集したり、危険を避けることで生き残らなければならない一連の作業である。 アバロンは、報酬関数、世界ダイナミクス、アクション空間が全てのタスクで同じであるという点で、既存のRLベンチマークの中でユニークなものである。 標準的なRLベースラインは、ほとんどのタスクで前進するが、人間のパフォーマンスには程遠いため、Avalonは一般化可能なRLの探求を進めるのに十分である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite impressive successes, deep reinforcement learning (RL) systems still fall short of human performance on generalization to new tasks and environments that differ from their training. As a benchmark tailored for studying RL generalization, we introduce Avalon, a set of tasks in which embodied agents in highly diverse procedural 3D worlds must survive by navigating terrain, hunting or gathering food, and avoiding hazards. Avalon is unique among existing RL benchmarks in that the reward function, world dynamics, and action space are the same for every task, with tasks differentiated solely by altering the environment; its 20 tasks, ranging in complexity from eat and throw to hunt and navigate, each create worlds in which the agent must perform specific skills in order to survive. This setup enables investigations of generalization within tasks, between tasks, and to compositional tasks that require combining skills learned from previous tasks. Avalon includes a highly efficient simulator, a library of baselines, and a benchmark with scoring metrics evaluated against hundreds of hours of human performance, all of which are open-source and publicly available. We find that standard RL baselines make progress on most tasks but are still far from human performance, suggesting Avalon is challenging enough to advance the quest for generalizable RL.
• Abstract（参考訳）: 印象的な成功にもかかわらず、深層強化学習(rl)システムは、トレーニングと異なる新しいタスクや環境への一般化において人間のパフォーマンスに不足している。 RLの一般化を研究するためのベンチマークとして、高度に多様な手続き型3D世界のエンボディエージェントが、地形をナビゲートし、食料を狩猟し、危険を避けることで生き残らなければならない一連のタスクであるAvalonを紹介した。 アバロンは既存のRLベンチマークの中で、報酬関数、世界ダイナミクス、アクション空間が全てのタスクで同じであり、環境を変えることでのみ異なるタスクである。 この設定により、タスク内、タスク間、および前回のタスクから学んだスキルを組み合わせる必要がある構成タスクの一般化に関する調査が可能になる。 Avalonには、非常に効率的なシミュレータ、ベースラインのライブラリ、数百時間の人的パフォーマンスに対して評価された評価基準を備えたベンチマークが含まれている。 標準的なRLのベースラインはほとんどのタスクで進行するが、人間のパフォーマンスには程遠いため、Avalonは一般化可能なRLの探求を進めるのに十分である。

関連論文リスト

• Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
  本稿ではRLE(Random Latent Exploration)と呼ばれる新しい探査手法を紹介する。 RLEはボーナスベースとノイズベース(ディープRLを効果的に探索するための2つの一般的なアプローチ)の強みを組み合わせたものである。 AtariとIsaacGymのベンチマークで評価し、RLEは他の手法よりも全タスクの総合スコアが高いことを示した。
  論文  参考訳（メタデータ） (2024-07-18T17:55:22Z)
• Int-HRL: Towards Intention-based Hierarchical Reinforcement Learning [23.062590084580542]
  Int-HRL:人間の視線から推測される意図に基づくサブゴールを持つ階層的RL。 本評価の結果,手作りサブゴールを自動抽出した意図で置き換えることにより,従来の方法よりもはるかに効率のよいHRLエージェントが得られることがわかった。
  論文  参考訳（メタデータ） (2023-06-20T12:12:16Z)
• Human-Timescale Adaptation in an Open-Ended Task Space [56.55530165036327]
  大規模にRLエージェントを訓練することで、オープンエンドの新規な3D問題に人間と同じくらい早く適応できる一般的なコンテキスト内学習アルゴリズムが実現可能であることを示す。 我々の研究は、より大規模で適応的なRLエージェントの基礎を築いた。
  論文  参考訳（メタデータ） (2023-01-18T15:39:21Z)
• Abstract Demonstrations and Adaptive Exploration for Efficient and Stable Multi-step Sparse Reward Reinforcement Learning [44.968170318777105]
  本稿では、人間の体験にインスパイアされた2つのコンポーネント、抽象的なデモンストレーションと適応的な探索を統合したDRL探査手法A2を提案する。 A2は、複雑なタスクをサブタスクに分解し、次に学習するサブタスクの正しい順序を提供する。 A2は、一般的なDRLアルゴリズムがこれらの環境でより効率的に安定して学習できることを示す。
  論文  参考訳（メタデータ） (2022-07-19T12:56:41Z)
• Zipfian environments for Reinforcement Learning [19.309119596790563]
  シュキュード体験からしっかり学習することは、シミュレーションや研究室を超えてDeep RL手法を適用する上で重要な課題であることを示す。 エージェントの経験がZipfian(離散電力法則)分布によって異なる3つの相補的なRL環境を開発する。 この結果から, シュキュード・エクスペリエンスからの学習が, シミュレーションや実験室を超えて深部RL法を適用する上で重要な課題であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-15T19:59:10Z)
• Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
  人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。 RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。 この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
  論文  参考訳（メタデータ） (2021-12-17T16:28:06Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• Example-Driven Model-Based Reinforcement Learning for Solving Long-Horizon Visuomotor Tasks [85.56153200251713]
  長軸ビズモータタスクの完了に適したプリミティブスキルを学習するためのモデルベースRL手法EMBRを紹介する。 フランカ・エミカのロボットアームでは、EMBRによってロボットは85%の成功率で3つの長い水平視運動タスクを完了できることがわかった。
  論文  参考訳（メタデータ） (2021-09-21T16:48:07Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Room Clearance with Feudal Hierarchical Reinforcement Learning [2.867517731896504]
  本稿では,RL研究を軍事分析に有用な方向に進めるためのシナリオ構築ツールとして,新しいシミュレーション環境「it」を紹介した。 そこでは、青いエージェントのチームが建物を通り抜け、すべての部屋が敵のレッドエージェントから取り除かれるようにしなければなりません。 封建的階層型RLのマルチエージェント版を実装し、より上位の指揮官が命令を下級の複数のエージェントに送信するコマンド階層を導入する。 このような方法でタスクを壊すことで、私たちはそれを可能にすることに気付きました。
  論文  参考訳（メタデータ） (2021-05-24T15:05:58Z)
• Continuous Coordination As a Realistic Scenario for Lifelong Learning [6.044372319762058]
  ゼロショット設定と少数ショット設定の両方をサポートするマルチエージェント生涯学習テストベッドを導入する。 最近のMARL法、および制限メモリおよび計算における最新のLLLアルゴリズムのベンチマークを評価します。 我々は経験的に、我々の設定で訓練されたエージェントは、以前の作業による追加の仮定なしに、未発見のエージェントとうまく協調できることを示します。
  論文  参考訳（メタデータ） (2021-03-04T18:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。