論文の概要: An Analysis of Streaming Deep Reinforcement Learning for Adaptive Continual Learning in Robotics

• arxiv url: http://arxiv.org/abs/2609.28807v1
• Date: Wed, 23 Sep 2026 21:41:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.57099
• Title: An Analysis of Streaming Deep Reinforcement Learning for Adaptive Continual Learning in Robotics
• Title（参考訳）: ロボットにおける適応型連続学習のためのストリーミング深層強化学習の分析
• Abstract要約: 本稿では,ロボット工学における適応型連続学習のためのストリーミングディープ強化学習の最初の分析について述べる。 最初の事前学習フェーズの後、深いRLをストリーミングすることで、ロボットが予期せぬ変化や環境、目標への適応を成功させることができることを示す。
• 参考スコア（独自算出の注目度）: 2.2020053359163305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the course of a lifetime, robots may encounter novel scenarios unaccounted for in its original training that result in performance degradation. One common approach to mitigating this issue is to further grow the offline training dataset in hopes of producing a policy robust to these changes. In contrast, biological learning occurs moment-to-moment via a stream of experience, unlike the predominantly batch-based and offline nature of deep learning. Although recent works show the feasibility of stream-based deep reinforcement learning, where updates use only the latest experience, none have shown it to be a viable continual learning framework for adapting robotic policies to unseen changes. In this paper, we present the first analysis of streaming deep reinforcement learning for adaptive continual learning in robotics. In particular, we show that, following an initial pretraining phase, streaming deep RL can enable a robot to successfully adapt to unforeseen changes to itself, its environment, or goals. Our primary experiments within quadruped locomotion demonstrate that a deep neural network robotic policy with certain optimizers and plasticity loss mitigation techniques can successfully leverage domain task knowledge from its pretraining to quickly adapt online to diverse changes via stream learning, outperforming batch-based on-policy methods and improving task success rates by up to 90% over the pretrained policy. Furthermore, we perform additional evaluations on robotic manipulation tasks to determine if our previous observations extend to different robotic morphologies and scenarios. Our results show that the successes observed in quadruped locomotion can be partially realized in manipulation with stability and performance limitations. We conclude with a discussion on the limitations of our work and its implications for the future of continual robot learning.
• Abstract（参考訳）: ロボットは生涯にわたって、パフォーマンスの劣化をもたらす最初のトレーニングで、新しいシナリオに遭遇する可能性がある。 この問題を緩和するための一般的なアプローチは、これらの変更に対して堅牢なポリシの生成を期待して、オフライントレーニングデータセットをさらに拡大することだ。 対照的に、生物学的学習は、主にバッチベースとオフラインのディープラーニングとは異なり、経験の流れを通じて瞬間的に起こる。 最近の研究は、ストリームベースの深層強化学習の実現可能性を示しているが、最新の経験しか使用していない。 本稿では,ロボット工学における適応型連続学習のためのストリーミングディープ強化学習の最初の解析について述べる。 特に、初期の事前学習フェーズの後、深いRLをストリーミングすることで、ロボットが予期せぬ変化や環境、目標への適応を成功させることができることを示す。 四足歩行における私たちの最初の実験は、特定の最適化と可塑性損失軽減技術によるディープニューラルネットワークのロボットポリシーが、事前訓練からドメインタスクの知識をうまく活用し、ストリーム学習、バッチベースのオン政治手法の性能向上、事前訓練されたポリシーよりも最大90%のタスク成功率の向上を通じて、オンラインでさまざまな変化に迅速に適応できることを示しています。 さらに,ロボット操作タスクのさらなる評価を行い,これまでの観察結果が異なるロボット形態やシナリオに拡張されているかどうかを判断する。 その結果,四足歩行で得られた成功は,安定性と性能の制限による操作で部分的に実現できることが示唆された。 我々は,研究の限界と,ロボット学習の将来へのその影響について論じる。

関連論文リスト

• Transferable Latent-to-Latent Locomotion Policy for Efficient and Versatile Motion Control of Diverse Legged Robots [9.837559106057814]
  Pretrain-and-finetuneパラダイムは、新しいロボットエンティティやタスクに効率的に適応するための、有望なアプローチを提供する。 本稿では,タスク固有の観察エンコーダやアクションデコーダとともに,移動可能な潜時移動ポリシーを事前訓練する潜時学習フレームワークを提案する。 提案手法は広範囲なシミュレーションと実世界の実験により検証され、事前学習された潜伏移動政策が、効率を向上した新しいロボットエンティティやタスクに効果的に一般化できることが実証された。
  論文  参考訳（メタデータ） (2025-03-22T03:01:25Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Deception Game: Closing the Safety-Learning Loop in Interactive Robot Autonomy [7.915956857741506]
  既存の安全手法は、ロボットが実行時に学習し適応する能力を無視することが多く、過度に保守的な行動を引き起こす。 本稿では,ロボットの進化する不確実性を明示的に考慮した安全制御ポリシを合成するための,新しいクローズドループパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-09-03T20:34:01Z)
• Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning [70.70104870417784]
  強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。 現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。 本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
  論文  参考訳（メタデータ） (2022-07-11T08:31:22Z)
• Revisiting the Adversarial Robustness-Accuracy Tradeoff in Robot Learning [121.9708998627352]
  近年の研究では、現実的なロボット学習の応用において、対人訓練の効果が公平なトレードオフを起こさないことが示されている。 本研究は,ロボット学習におけるロバストネスと精度のトレードオフを再考し,最近のロバストトレーニング手法と理論の進歩により,現実のロボット応用に適した対人トレーニングが可能かどうかを解析する。
  論文  参考訳（メタデータ） (2022-04-15T08:12:15Z)
• Adversarial Training is Not Ready for Robot Learning [55.493354071227174]
  対人訓練は,ノルム有界摂動に耐性のあるディープラーニングモデルを訓練する有効な方法である。 敵訓練により得られたニューラルコントローラが3種類の欠陥を受けることを理論的および実験的に示す。 この結果から, ロボット学習にはまだ対応できていないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-15T07:51:31Z)
• Never Stop Learning: The Effectiveness of Fine-Tuning in Robotic Reinforcement Learning [109.77163932886413]
  本稿では,ロボットによるロボット操作ポリシーを,政治以外の強化学習を通じて微調整することで,新たなバリエーションに適応する方法を示す。 この適応は、タスクをゼロから学習するために必要なデータの0.2%未満を使用する。 事前訓練されたポリシーを適用するという私たちのアプローチは、微調整の過程で大きなパフォーマンス向上につながります。
  論文  参考訳（メタデータ） (2020-04-21T17:57:04Z)
• Rapidly Adaptable Legged Robots via Evolutionary Meta-Learning [65.88200578485316]
  本稿では,ロボットが動的変化に迅速に適応できるメタ学習手法を提案する。 提案手法は高雑音環境における動的変化への適応性を著しく改善する。 我々は、動的に変化しながら歩くことを学習する四足歩行ロボットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2020-03-02T22:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。