論文の概要: Kinetix: Investigating the Training of General Agents through Open-Ended Physics-Based Control Tasks

• arxiv url: http://arxiv.org/abs/2410.23208v1
• Date: Wed, 30 Oct 2024 16:59:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:27.230121
• Title: Kinetix: Investigating the Training of General Agents through Open-Ended Physics-Based Control Tasks
• Title（参考訳）: Kinetix: オープンエンド物理制御タスクによる一般エージェントの訓練の検討
• Authors: Michael Matthews, Michael Beukman, Chris Lu, Jakob Foerster,
• Abstract要約: 我々は、何千万もの2次元物理に基づくタスクを手続き的に生成し、それらを物理制御のための一般強化学習(RL)エージェントの訓練に使用する。 Kinetixは物理ベースのRL環境のオープンエンドスペースで、ロボットの移動やグリップからビデオゲームや古典的なRL環境まで、さまざまなタスクを表現できる。 我々の訓練されたエージェントは強力な物理的推論能力を示し、目に見えない人間が設計した環境をゼロショットで解決することができる。
• 参考スコア（独自算出の注目度）: 3.479490713357225
• License:
• Abstract: While large models trained with self-supervised learning on offline datasets have shown remarkable capabilities in text and image domains, achieving the same generalisation for agents that act in sequential decision problems remains an open challenge. In this work, we take a step towards this goal by procedurally generating tens of millions of 2D physics-based tasks and using these to train a general reinforcement learning (RL) agent for physical control. To this end, we introduce Kinetix: an open-ended space of physics-based RL environments that can represent tasks ranging from robotic locomotion and grasping to video games and classic RL environments, all within a unified framework. Kinetix makes use of our novel hardware-accelerated physics engine Jax2D that allows us to cheaply simulate billions of environment steps during training. Our trained agent exhibits strong physical reasoning capabilities, being able to zero-shot solve unseen human-designed environments. Furthermore, fine-tuning this general agent on tasks of interest shows significantly stronger performance than training an RL agent *tabula rasa*. This includes solving some environments that standard RL training completely fails at. We believe this demonstrates the feasibility of large scale, mixed-quality pre-training for online RL and we hope that Kinetix will serve as a useful framework to investigate this further.
• Abstract（参考訳）: オフラインデータセット上で自己教師付き学習でトレーニングされた大規模なモデルは、テキストと画像ドメインにおいて顕著な能力を示しているが、シーケンシャルな決定問題に対処するエージェントに対して同じ一般化を実現することは、依然としてオープンな課題である。 本研究では、この目標に向けて、何千万もの2次元物理に基づくタスクを手続き的に生成し、それらを物理制御のための汎用強化学習(RL)エージェントの訓練に利用する。 この目的のために、Kinetixを紹介します: 物理ベースのRL環境のオープンな空間で、ロボットの移動や握りからビデオゲームや古典的なRL環境まで、すべて統一されたフレームワーク内でのタスクを表現できます。 Kinetixは、ハードウェアが加速する新しい物理エンジンJax2Dを利用して、トレーニング中に何十億もの環境ステップを安価にシミュレートできる。 我々の訓練されたエージェントは強力な物理的推論能力を示し、目に見えない人間が設計した環境をゼロショットで解決することができる。 さらに、興味のあるタスクに対してこの汎用エージェントを微調整すると、RLエージェント *tabula rasa* のトレーニングよりも大幅にパフォーマンスが向上する。 これには、標準のRLトレーニングが完全に失敗するいくつかの環境の解決が含まれる。 これはオンラインRLのための大規模で混合品質の事前トレーニングの実現可能性を示しており、Kinetixがさらなる調査に有用なフレームワークになることを期待しています。

関連論文リスト

• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、20Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning [61.10299147201369]
  本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。 VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。 我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
  論文  参考訳（メタデータ） (2024-06-14T17:49:55Z)
• Active Reinforcement Learning for Robust Building Control [0.0]
  強化学習(Reinforcement Learning, RL)は、Atariゲーム、Goのゲーム、ロボット制御、ビルド最適化で大きな成功を収めた、最適な制御のための強力なツールである。 教師なし環境設計 (UED) は, エージェントが特別に選抜された環境において, 学習を支援するための訓練を行う, この問題に対する解決策として提案されている。 この結果から,ActivePLRはエネルギー使用量を最小限に抑えつつ,建物制御の際の快適さを最大化しながら,最先端のUEDアルゴリズムより優れた性能を発揮できることが示唆された。
  論文  参考訳（メタデータ） (2023-12-16T02:18:45Z)
• Reaching the Limit in Autonomous Racing: Optimal Control versus Reinforcement Learning [66.10854214036605]
  ロボット工学における中心的な問題は、アジャイルなモバイルロボットの制御システムをどうやって設計するかである。 本稿では、強化学習(RL)で訓練されたニューラルネットワークコントローラが最適制御(OC)法より優れていることを示す。 その結果、アジャイルドローンを最大性能に押し上げることができ、最大加速速度は重力加速度の12倍以上、ピーク速度は時速108kmに達しました。
  論文  参考訳（メタデータ） (2023-10-17T02:40:27Z)
• Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [101.43350024175157]
  自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。 我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。 コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-06T01:36:56Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Parallel Reinforcement Learning Simulation for Visual Quadrotor Navigation [4.597465975849579]
  強化学習(Reinforcement Learning、RL)は、ロボットに物理的な世界の中をナビゲートするように教えるエージェントベースのアプローチである。 本稿では,AirSim上に構築された並列学習を効率的に行うシミュレーションフレームワークを提案する。 このフレームワーク上に構築されたApe-Xは、AirSim環境の分散トレーニングを組み込むように修正されている。
  論文  参考訳（メタデータ） (2022-09-22T15:27:42Z)
• CyGIL: A Cyber Gym for Training Autonomous Agents over Emulated Network Systems [3.2550963598419957]
  CyGILは、ネットワークサイバー操作のためのエミュレートされたRLトレーニング環境の実験ベッドである。 ステートレスな環境アーキテクチャを使用し、MITRE ATT&CKフレームワークを組み込んで、高品質なトレーニング環境を確立する。 その包括的なアクションスペースとフレキシブルなゲームデザインにより、エージェントトレーニングは特定の高度な永続脅威(APT)プロファイルに集中することができる。
  論文  参考訳（メタデータ） (2021-09-07T20:52:44Z)
• Robust Reinforcement Learning-based Autonomous Driving Agent for Simulation and Real World [0.0]
  本稿では,Deep Q-Networks (DQN) を用いた自律型ロボット制御を実現するDRLベースのアルゴリズムを提案する。 本手法では,エージェントはシミュレーション環境で訓練され,シミュレーション環境と実環境環境の両方をナビゲートすることができる。 トレーニングされたエージェントは限られたハードウェアリソース上で動作することができ、そのパフォーマンスは最先端のアプローチに匹敵する。
  論文  参考訳（メタデータ） (2020-09-23T15:23:54Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。