論文の概要: Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight
- arxiv url: http://arxiv.org/abs/2403.12203v2
- Date: Fri, 25 Oct 2024 11:10:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-28 13:34:47.804684
- Title: Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight
- Title（参考訳）: ビジョンベースのアジャイルフライトのための模倣によるブートストラップ強化学習
- Authors: Jiaxu Xing, Angel Romero, Leonard Bauersfeld, Davide Scaramuzza,
- Abstract要約: 本稿では,Reinforcement Learning(RL)とImitation Learning(IL)のサンプル効率を組み合わせた新しいアプローチを提案する。
本フレームワークは,特権状態情報を用いたRLを用いた教師政策の訓練,ILによる学生政策への蒸留,RLによる適応微調整の3段階を含む。
シミュレーションシナリオと実世界のシナリオの両方でテストすると、我々のアプローチは、スクラッチからRLが失敗するシナリオだけでなく、ロバストさとパフォーマンスの両方で既存のILメソッドよりも優れています。
- 参考スコア（独自算出の注目度）: 20.92646531472541
- License:
- Abstract: Learning visuomotor policies for agile quadrotor flight presents significant difficulties, primarily from inefficient policy exploration caused by high-dimensional visual inputs and the need for precise and low-latency control. To address these challenges, we propose a novel approach that combines the performance of Reinforcement Learning (RL) and the sample efficiency of Imitation Learning (IL) in the task of vision-based autonomous drone racing. While RL provides a framework for learning high-performance controllers through trial and error, it faces challenges with sample efficiency and computational demands due to the high dimensionality of visual inputs. Conversely, IL efficiently learns from visual expert demonstrations, but it remains limited by the expert's performance and state distribution. To overcome these limitations, our policy learning framework integrates the strengths of both approaches. Our framework contains three phases: training a teacher policy using RL with privileged state information, distilling it into a student policy via IL, and adaptive fine-tuning via RL. Testing in both simulated and real-world scenarios shows our approach can not only learn in scenarios where RL from scratch fails but also outperforms existing IL methods in both robustness and performance, successfully navigating a quadrotor through a race course using only visual information.
- Abstract（参考訳）: アジャイル四極子飛行のための視覚的学習は、主に高次元の視覚的な入力によって引き起こされる非効率なポリシー探索と、正確で低レイテンシな制御の必要性から、重大な困難を生じさせる。
これらの課題に対処するために、視覚に基づく自律ドローンレースにおける強化学習(RL)の性能とImitation Learning(IL)のサンプル効率を組み合わせた新しいアプローチを提案する。
RLは、試行錯誤によって高性能コントローラを学習するためのフレームワークを提供するが、視覚入力の高次元性のため、サンプル効率と計算要求の課題に直面している。
逆に、ILは視覚専門家によるデモンストレーションから効率的に学習するが、専門家のパフォーマンスと状態分布によって制限される。
これらの制限を克服するため、ポリシー学習フレームワークは両方のアプローチの長所を統合する。
本フレームワークは,特権状態情報を用いたRLを用いた教師政策の訓練,ILによる学生政策への蒸留,RLによる適応微調整の3段階を含む。
シミュレーションシナリオと実世界のシナリオの両方でテストすると、私たちのアプローチは、スクラッチからRLが失敗するシナリオだけでなく、ロバストさとパフォーマンスの両方で既存のILメソッドを上回り、視覚情報のみを使用して4乗車を走らせることに成功した。
関連論文リスト
- Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning [47.785786984974855]
本稿では,多種多様な操作タスクに対して印象的な性能を示す,ループ内視覚に基づくRLシステムを提案する。
提案手法では,実証と人間の修正,効率的なRLアルゴリズム,その他のシステムレベルの設計選択を統合してポリシを学習する。
提案手法は,再現学習のベースラインと先行RLアプローチを著しく上回り,成功率の平均2倍,実行速度1.8倍に向上した。
論文 参考訳（メタデータ） (2024-10-29T08:12:20Z) - MENTOR: Mixture-of-Experts Network with Task-Oriented Perturbation for Visual Reinforcement Learning [17.437573206368494]
視覚深部強化学習(RL)は、ロボットが非構造化タスクの視覚入力からスキルを習得することを可能にする。
現在のアルゴリズムはサンプル効率が低く、実用性が制限されている。
本稿では,RLエージェントのアーキテクチャと最適化の両方を改善する手法であるMENTORを提案する。
論文 参考訳（メタデータ） (2024-10-19T04:31:54Z) - Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。
我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。
本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
論文 参考訳（メタデータ） (2024-09-01T13:14:41Z) - Reinforcement Learning in Robotic Motion Planning by Combined
Experience-based Planning and Self-Imitation Learning [7.919213739992465]
高品質で代表的なデータは、Imitation Learning(IL)とReinforcement Learning(RL)ベースのモーションプランニングタスクに不可欠である。
本稿では,学習アーキテクチャに経験に基づくプランニングを組み込むSILP+アルゴリズムを提案する。
様々な実験結果から,SILP+は複雑な運動計画タスクにおいて,トレーニング効率が向上し,より安定した成功率が得られることが示された。
論文 参考訳（メタデータ） (2023-06-11T19:47:46Z) - RVSL: Robust Vehicle Similarity Learning in Real Hazy Scenes Based on
Semi-supervised Learning [24.13217601503959]
車両類似性学習(re-identification、ReID)はコンピュータビジョンにおいて大きな注目を集めている。
我々は、ReIDとドメイン変換技術を統合した textbfRVSL と呼ばれるトレーニングパラダイムを構築した。
提案手法は, ヘイジーカーのReID問題に対して, 最先端の性能を実現することができることを示す。
論文 参考訳（メタデータ） (2022-09-18T18:45:06Z) - Jump-Start Reinforcement Learning [68.82380421479675]
本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。
特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。
実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2022-04-05T17:25:22Z) - A Practical Contrastive Learning Framework for Single-Image
Super-Resolution [51.422185656787285]
コントラスト学習に基づく単一画像の超解像を2つの視点から検討する。
SISR のための実践的コントラスト学習フレームワーク PCL-SR を提案する。
既存のベンチマーク手法と比較して,提案手法をPCL-SRフレームワークで再学習し,優れた性能を実現する。
論文 参考訳（メタデータ） (2021-11-27T15:42:12Z) - Improved Context-Based Offline Meta-RL with Attention and Contrastive
Learning [1.3106063755117399]
SOTA OMRLアルゴリズムの1つであるFOCALを、タスク内注意メカニズムとタスク間コントラスト学習目標を組み込むことで改善します。
理論解析と実験を行い、エンドツーエンドおよびモデルフリーの優れた性能、効率、堅牢性を実証します。
論文 参考訳（メタデータ） (2021-02-22T05:05:16Z) - Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。
オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。
提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
論文 参考訳（メタデータ） (2020-12-21T18:28:17Z) - AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。
以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
論文 参考訳（メタデータ） (2020-06-16T17:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。