論文の概要: Learning and Retrieval from Prior Data for Skill-based Imitation Learning

• arxiv url: http://arxiv.org/abs/2210.11435v1
• Date: Thu, 20 Oct 2022 17:34:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 16:11:37.095683
• Title: Learning and Retrieval from Prior Data for Skill-based Imitation Learning
• Title（参考訳）: スキルベース模倣学習のための事前データからの学習と検索
• Authors: Soroush Nasiriany and Tian Gao and Ajay Mandlekar and Yuke Zhu
• Abstract要約: 従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
• 参考スコア（独自算出の注目度）: 47.59794569496233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Imitation learning offers a promising path for robots to learn general-purpose behaviors, but traditionally has exhibited limited scalability due to high data supervision requirements and brittle generalization. Inspired by recent advances in multi-task imitation learning, we investigate the use of prior data from previous tasks to facilitate learning novel tasks in a robust, data-efficient manner. To make effective use of the prior data, the robot must internalize knowledge from past experiences and contextualize this knowledge in novel tasks. To that end, we develop a skill-based imitation learning framework that extracts temporally extended sensorimotor skills from prior data and subsequently learns a policy for the target task that invokes these learned skills. We identify several key design choices that significantly improve performance on novel tasks, namely representation learning objectives to enable more predictable skill representations and a retrieval-based data augmentation mechanism to increase the scope of supervision for policy training. On a collection of simulated and real-world manipulation domains, we demonstrate that our method significantly outperforms existing imitation learning and offline reinforcement learning approaches. Videos and code are available at https://ut-austin-rpl.github.io/sailor
• Abstract（参考訳）: 模倣学習は、ロボットが汎用的な行動を学ぶ有望な経路を提供するが、伝統的に、高いデータ監督要件と不安定な一般化のために、スケーラビリティが制限されている。 近年のマルチタスク模倣学習の進展に触発されて,従来のタスクからの先行データを用いて,堅牢でデータ効率のよい新しいタスクの学習を容易にする。 従来のデータを効果的に活用するには、ロボットは過去の経験から知識を内包し、新しいタスクでその知識を文脈化する必要がある。 そこで,我々は,事前データから時間的に拡張された感覚運動能力を抽出するスキルベース模倣学習フレームワークを開発し,これらの学習スキルを起動する対象タスクのポリシーを学習する。 我々は,新しいタスクにおけるパフォーマンスを著しく向上させる重要な設計選択,すなわち,より予測可能なスキル表現を可能にするための表現学習目標と,政策訓練の監督範囲を増やすための検索に基づくデータ拡張機構を同定する。 シミュレーションおよび実世界の操作領域のコレクションにおいて,本手法が既存の模倣学習やオフライン強化学習よりも優れていることを示す。 ビデオとコードはhttps://ut-austin-rpl.github.io/sailorで入手できる。

関連論文リスト

• Meta-Learning and representation learner: A short theoretical note [0.0]
  メタ学習は機械学習のサブフィールドであり、目標は様々なタスクから学習できるモデルとアルゴリズムを開発することである。 特定のタスクを学習することに焦点を当てた従来の機械学習手法とは異なり、メタラーニングは、過去のタスクからの経験を活用して将来の学習を強化することを目的としている。
  論文  参考訳（メタデータ） (2024-07-04T23:47:10Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Towards A Unified Agent with Foundation Models [18.558328028366816]
  強化学習(RL)エージェントにそのような能力を組み込んで活用する方法を検討する。 我々は、言語を中核的推論ツールとして使用するフレームワークを設計し、エージェントが一連の基本的なRL課題にどのように取り組むことができるかを探る。 探索効率とオフラインデータセットからのデータの再利用能力において,ベースラインよりも大幅にパフォーマンスが向上したことを示す。
  論文  参考訳（メタデータ） (2023-07-18T22:37:30Z)
• Skill-based Meta-Reinforcement Learning [65.31995608339962]
  本研究では,長期的スパース・リワードタスクにおけるメタラーニングを実現する手法を提案する。 私たちの中核となる考え方は、メタ学習中にオフラインデータセットから抽出された事前経験を活用することです。
  論文  参考訳（メタデータ） (2022-04-25T17:58:19Z)
• Lifelong Adaptive Machine Learning for Sensor-based Human Activity Recognition Using Prototypical Networks [0.0]
  連続学習は、生涯学習としても知られ、機械学習分野への関心が高まりつつある研究トピックである。 我々は,連続機械学習の分野における最近の進歩を基盤に,プロトタイプネットワーク(LPPNet-HAR)を用いた生涯適応型学習フレームワークを設計する。 LAPNet-HARは、タスクフリーなデータインクリメンタルな方法でセンサベースのデータストリームを処理する。
  論文  参考訳（メタデータ） (2022-03-11T00:57:29Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning [78.13740204156858]
  我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。 我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。 我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
  論文  参考訳（メタデータ） (2020-10-27T17:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。