論文の概要: Learning Robot Soccer from Egocentric Vision with Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2405.02425v1
- Date: Fri, 3 May 2024 18:41:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 20:00:04.554367
- Title: Learning Robot Soccer from Egocentric Vision with Deep Reinforcement Learning
- Title（参考訳）: 深層強化学習による自我中心視からのロボットサッカーの学習
- Authors: Dhruva Tirumala, Markus Wulfmeier, Ben Moran, Sandy Huang, Jan Humplik, Guy Lever, Tuomas Haarnoja, Leonard Hasenclever, Arunkumar Byravan, Nathan Batchelor, Neil Sreendra, Kushal Patel, Marlon Gwira, Francesco Nori, Martin Riedmiller, Nicolas Heess,
- Abstract要約: 我々は,自己中心型RGBビジョンによる完全オンボード計算とセンシングにより,エンドツーエンドのロボットサッカーポリシーを訓練する。
本稿では,マルチエージェントロボットサッカーにおけるエンドツーエンドトレーニングの最初の実演を行う。
- 参考スコア（独自算出の注目度）: 17.906144781244336
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We apply multi-agent deep reinforcement learning (RL) to train end-to-end robot soccer policies with fully onboard computation and sensing via egocentric RGB vision. This setting reflects many challenges of real-world robotics, including active perception, agile full-body control, and long-horizon planning in a dynamic, partially-observable, multi-agent domain. We rely on large-scale, simulation-based data generation to obtain complex behaviors from egocentric vision which can be successfully transferred to physical robots using low-cost sensors. To achieve adequate visual realism, our simulation combines rigid-body physics with learned, realistic rendering via multiple Neural Radiance Fields (NeRFs). We combine teacher-based multi-agent RL and cross-experiment data reuse to enable the discovery of sophisticated soccer strategies. We analyze active-perception behaviors including object tracking and ball seeking that emerge when simply optimizing perception-agnostic soccer play. The agents display equivalent levels of performance and agility as policies with access to privileged, ground-truth state. To our knowledge, this paper constitutes a first demonstration of end-to-end training for multi-agent robot soccer, mapping raw pixel observations to joint-level actions, that can be deployed in the real world. Videos of the game-play and analyses can be seen on our website https://sites.google.com/view/vision-soccer .
- Abstract（参考訳）: 我々は,マルチエージェント深部強化学習(RL)を,完全オンボード計算によるエンドツーエンドのロボットサッカーポリシーのトレーニングに適用し,エゴセントリックなRGBビジョンを用いたセンシングを行った。
この設定は、アクティブな知覚、アジャイルのフルボディコントロール、動的で部分的に観測可能なマルチエージェントドメインでの長期計画など、現実世界のロボット工学における多くの課題を反映している。
我々は、大規模なシミュレーションベースのデータ生成を頼りに、低コストのセンサーを用いて物理的ロボットにうまく移動できる自我中心の視覚から複雑な振る舞いを得る。
適切なビジュアルリアリズムを実現するために,我々は,剛体物理と複数のニューラルレージアンス場(NeRF)による学習的,リアルなレンダリングを組み合わせたシミュレーションを行った。
教師ベースのマルチエージェントRLとクロス実験データ再利用を組み合わせることで,高度なサッカー戦略の発見を可能にする。
我々は,知覚に依存しないサッカーの試合を最適化する場合,物体追跡や球探索などの活動知覚行動を分析する。
エージェントは、特権付き、地道な状態にアクセス可能なポリシーとして、同等のパフォーマンスとアジリティのレベルを示します。
本研究は,マルチエージェントロボットサッカーにおけるエンド・ツー・エンドトレーニングの最初の実演であり,実環境に展開可能な原画素の観察をジョイントレベル・アクションにマッピングする。
ゲームプレイと分析のビデオは、我々のウェブサイト https://sites.google.com/view/vision-soccer で見ることができる。
関連論文リスト
- Learning to Play Foosball: System and Baselines [0.09642500063568188]
この研究は、科学研究、特にロボット学習の領域において、フォスボールを多用途プラットフォームとして活用する。
本稿では,Fosball の自動表とそれに対応する模擬表を提示し,様々な課題を提示する。
物理フォスボールテーブルを研究フレンドリーなシステムにするために、ゴールキーパーロッドを制御するために、自由な運動鎖を2度の自由度で拡張しました。
論文 参考訳（メタデータ） (2024-07-23T16:11:08Z) - DexDribbler: Learning Dexterous Soccer Manipulation via Dynamic Supervision [26.9579556496875]
移動物体の協調操作と,サッカーなどの足による移動は,学習コミュニティにおいて目立たない注目を集める。
出力をダイナミックな関節レベル移動監視として使用し,必要な身体レベルの動きを正確に計算するフィードバック制御ブロックを提案する。
我々は,我々の学習手法が政策ネットワークをより早く収束させるだけでなく,サッカーロボットが高度な操作を行うことを可能にすることを観察した。
論文 参考訳（メタデータ） (2024-03-21T11:16:28Z) - Learning Interactive Real-World Simulators [96.5991333400566]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-10-09T19:42:22Z) - Robotic Table Tennis: A Case Study into a High Speed Learning System [30.30242337602385]
本研究では,人間と数百の卓球アライグが可能な実世界のロボット学習システムを提案する。
本システムは,高度に最適化された知覚サブシステム,高速低遅延ロボットコントローラ,現実世界の損傷を防ぐシミュレーションパラダイムを組み込んだ。
論文 参考訳（メタデータ） (2023-09-06T18:56:20Z) - Adaptive action supervision in reinforcement learning from real-world
multi-agent demonstrations [10.174009792409928]
マルチエージェントシナリオにおける実世界の実演からRLにおける適応的行動監視手法を提案する。
実験では,未知のソースとターゲット環境の異なるダイナミックスを用いて,チェイス・アンド・エスケープとフットボールのタスクを用いて,本手法がベースラインと比較して一般化能力と一般化能力のバランスを保っていることを示す。
論文 参考訳（メタデータ） (2023-05-22T13:33:37Z) - DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal
Human Demonstrations [51.87067543670535]
本研究では,少数の人間によるデモンストレーションを行い,見えない物体のポーズを学習するロボット学習システムを提案する。
我々は,物体の点群を入力として捉え,物体を異なる初期ロボット状態から把握するための連続的な動作を予測する,厳密な把握ポリシーを訓練する。
我々のデータセットから学んだポリシーは、シミュレーションと現実世界の両方で見えないオブジェクトのポーズをうまく一般化することができる。
論文 参考訳（メタデータ） (2022-09-28T17:51:49Z) - Masked World Models for Visual Control [90.13638482124567]
視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。
提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
論文 参考訳（メタデータ） (2022-06-28T18:42:27Z) - From Motor Control to Team Play in Simulated Humanoid Football [56.86144022071756]
我々は、現実的な仮想環境でサッカーをするために、物理的にシミュレートされたヒューマノイドアバターのチームを訓練する。
一連の段階において、プレイヤーはまず、現実的な人間のような動きを実行するために、完全に関節化された身体を制御することを学習する。
その後、ドリブルやシューティングといった中級のサッカーのスキルを身につける。
最後に、彼らは他の人を意識し、チームとしてプレーし、ミリ秒のタイムスケールで低レベルのモーターコントロールのギャップを埋める。
論文 参考訳（メタデータ） (2021-05-25T20:17:10Z) - How to Train Your Robot with Deep Reinforcement Learning; Lessons We've
Learned [111.06812202454364]
本稿では,ロボット深部RLのケーススタディをいくつか紹介する。
深部RLにおける一般的な課題と,それらの課題について論じる。
また、他の卓越した課題についても概説し、その多くが現実世界のロボティクスの設定に特有のものである。
論文 参考訳（メタデータ） (2021-02-04T22:09:28Z) - RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。
RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
論文 参考訳（メタデータ） (2020-06-16T08:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。