論文の概要: Task-unaware Lifelong Robot Learning with Retrieval-based Weighted Local Adaptation

• arxiv url: http://arxiv.org/abs/2410.02995v1
• Date: Thu, 3 Oct 2024 21:11:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:35:40.328443
• Title: Task-unaware Lifelong Robot Learning with Retrieval-based Weighted Local Adaptation
• Title（参考訳）: 検索型重み付き局所適応を用いたタスク認識型生涯ロボット学習
• Authors: Pengzhi Yang, Xinyu Wang, Ruipeng Zhang, Cong Wang, Frans Oliehoek, Jens Kober,
• Abstract要約: 本研究では,ロボットが学習した課題における能力の回復を効果的に行う方法を提案する。 提案手法は,EM(Epsodic Memory)を用いて,局所的な微調整のためのテスト中のトレーニングと検索において経験的リプレイを可能にする。 得られた実験の最も困難な部分を強調する選択重み付け機構を導入する。
• 参考スコア（独自算出の注目度）: 8.44345881868211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world environments require robots to continuously acquire new skills while retaining previously learned abilities, all without the need for clearly defined task boundaries. Storing all past data to prevent forgetting is impractical due to storage and privacy concerns. To address this, we propose a method that efficiently restores a robot's proficiency in previously learned tasks over its lifespan. Using an Episodic Memory (EM), our approach enables experience replay during training and retrieval during testing for local fine-tuning, allowing rapid adaptation to previously encountered problems without explicit task identifiers. Additionally, we introduce a selective weighting mechanism that emphasizes the most challenging segments of retrieved demonstrations, focusing local adaptation where it is most needed. This framework offers a scalable solution for lifelong learning in dynamic, task-unaware environments, combining retrieval-based adaptation with selective weighting to enhance robot performance in open-ended scenarios.
• Abstract（参考訳）: 現実の環境では、ロボットは、事前に学習した能力を維持しながら、明確に定義されたタスク境界を必要とせずに、新しいスキルを継続的に獲得する必要がある。 過去のデータをすべて保存して忘れないようにすることは、ストレージとプライバシの懸念のために現実的ではない。 そこで本研究では,これまでに学習した課題におけるロボットの能力の回復を効果的に行う手法を提案する。 提案手法は,Epsodic Memory (EM) を用いて,局所的な微調整のためのテスト中におけるトレーニングおよび検索中に経験的なリプレイを可能にし,明示的なタスク識別子を使わずに,以前に遭遇した問題への迅速な適応を可能にする。 さらに,検索されたデモの最も困難な部分を強調する選択重み付け機構を導入し,最も必要な部分の局所的適応に着目した。 このフレームワークは、動的でタスクを意識しない環境での生涯学習のためのスケーラブルなソリューションを提供し、検索ベースの適応と選択重み付けを組み合わせて、オープンエンドシナリオにおけるロボットのパフォーマンスを向上させる。

関連論文リスト

• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning [70.70104870417784]
  強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。 現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。 本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
  論文  参考訳（メタデータ） (2022-07-11T08:31:22Z)
• A Simple Approach to Continual Learning by Transferring Skill Parameters [25.705923249267055]
  我々は、忘れずにロボット操作スキルを継続的に取得する方法を示し、それらをスクラッチからトレーニングするために必要なサンプルをはるかに少ないものにする。 適切なカリキュラムが与えられたら、忘れずにロボット操作スキルを継続的に習得し、スクラッチからトレーニングするために必要なサンプルをはるかに少ないものにする方法を示す。
  論文  参考訳（メタデータ） (2021-10-19T20:44:20Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)
• Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills [93.12417203541948]
  与えられたデータセットの任意の目標状態に到達するために学習することによって、環境の機能的な理解を学ぶ目的を提案する。 提案手法は,高次元カメラ画像上で動作し,これまで見つからなかったシーンやオブジェクトに一般化した実ロボットの様々なスキルを学習することができる。
  論文  参考訳（メタデータ） (2021-04-15T20:10:11Z)
• Scalable Multi-Task Imitation Learning with Autonomous Improvement [159.9406205002599]
  我々は、自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築している。 我々は、ロボット自身の試行を、実際に試みたタスク以外のタスクのデモとして活用する。 従来の模倣学習のアプローチとは対照的に,本手法は,継続的改善のための疎い監視によるデータ収集を自律的に行うことができる。
  論文  参考訳（メタデータ） (2020-02-25T18:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。