論文の概要: When Robots Sleep: Offline Skill Consolidation for Shared-Policy Robot Learning
- arxiv url: http://arxiv.org/abs/2606.17493v1
- Date: Tue, 16 Jun 2026 04:03:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.259499
- Title: When Robots Sleep: Offline Skill Consolidation for Shared-Policy Robot Learning
- Title（参考訳）: ロボットが寝ているとき:共有型ロボット学習のためのオフラインスキル強化
- Authors: Nethmi Jayasinghe, Diana Gontero, Amit Ranjan Trivedi,
- Abstract要約: 本研究では,従来の軌道やタスクの損失が不可能なロボットスキル学習について検討する。
本研究では、覚醒時に新しいスキルを学習し、睡眠中の共有ポリシーをオフラインで統合する、覚醒支援フレームワークであるSleeping Robotsを提案する。
- 参考スコア（独自算出の注目度）: 2.5361601273217973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robots that learn over long deployments must add new skills without losing the shared policy structure that makes earlier skills reusable. We study sequential robot skill learning, where previous trajectories and task losses may be unavailable, and the deployed policy must remain a single shared controller without task-specific heads, routing, or adapters. We identify skill-coupling collapse, a failure mode in which individual skill success remains non-trivial while reliability among related skills deteriorates. We propose Sleeping Robots, a wake-sleep framework that learns each new skill during wake and consolidates the shared policy offline during sleep using compact frozen skill memories: frozen critics with unordered state buffers for reinforcement learning and frozen actor snapshots with unordered observation buffers for imitation learning. During sleep, these memories define differentiable surrogate objectives whose gradients are combined through Nash bargaining, with adaptive anchoring and local excitability for stable consolidation. On Meta-World MT5, Sleeping Robots improves average success by 64 % and pairwise reliability by x 2.0 over the strongest non-oracle baseline, and on SurgicAI it improves average success and backward transfer relative to continual imitation baselines while remaining competitive on pairwise reliability.
- Abstract（参考訳）: 長期間のデプロイメントを通じて学習するロボットは、以前のスキルを再利用可能にする共有ポリシ構造を失うことなく、新たなスキルを追加する必要がある。
本研究では,タスク固有のヘッドやルーティング,アダプタを使わずに,デプロイされたポリシを単一の共有コントローラとして残さなければならない。
スキルカップリングの崩壊は、個々のスキルの成功が相変わらず、関連するスキル間の信頼性が低下する失敗モードである。
覚醒中の各新しいスキルを学習し、コンパクトな冷凍スキル記憶を用いて睡眠中の共有ポリシーをオフラインに集約する、覚醒時ロボットを提案する: 強化学習のための無秩序状態バッファと、模倣学習のための無秩序観察バッファを備えたフリーズアクタースナップショット。
睡眠中、これらの記憶は、安定な凝縮のための適応的アンカーと局所的な興奮性により、ナッシュバーゲリングを通じて勾配が結合される、分化可能なサロゲート目標を定義する。
Meta-World MT5では、Sleeping Robotsは最強の非線形ベースラインよりも平均成功率を64パーセント向上し、x2.0でペアの信頼性を向上させる。
関連論文リスト
- Robots that Collaborate: Sequential Asymmetric Imitation for Learning Coupled Robot Policies [8.640835924450553]
協調的な移動操作では、ロボットが部分的に観察されたパートナーと協調する必要がある。
失敗は、しばしば誤った待ち時間、収量、引き抜き、解放、再配置から生じるため、これは難しい。
本稿では,複数ロボットの動作を同時に学習するための一括操作カリキュラムであるSequential Asymmetric Imitation (SAI)を提案する。
論文 参考訳（メタデータ） (2026-06-15T09:55:58Z) - SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment [4.336665585098371]
本稿では,このコントラストを内部化のための直接学習信号に変換するContrastive Skill Credit Assignment (CSCA) に基づくフレームワークであるSkillCを提案する。
textscSkillCは、同じポリシー更新内でアクティブなスキルタイプからのタスクに対して、ペア化されたスキル注入とスキルフリーのロールアウトをサンプリングする。
スムーズな検証レベル信号は、帰属強度、ロールアウトアロケーション、単調なアクティブセットプルーニングよりも適応的なカリキュラムを駆動する。
論文 参考訳（メタデータ） (2026-05-27T03:21:19Z) - Skill-R1: Agent Skill Evolution via Reinforcement Learning [84.35984979949502]
Skill-R1は、検証可能な報酬からインスタンスレベルの繰り返しスキル最適化のための強化学習フレームワークである。
オープンソースモデルとクローズドソースモデルの両方とのブラックボックス互換性を維持しつつ、モデルレベルの更新よりも大幅に安価に適応できる。
論文 参考訳（メタデータ） (2026-05-10T06:19:15Z) - Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies [23.266003019334438]
汎用的なロボットポリシーは、大規模な事前トレーニングの恩恵を受ける傾向にあるが、オフラインデータだけでは、堅牢な現実世界のデプロイメントには不十分である。
本稿では,VLA(Vision-Language-Action)ポリシーの継続学習のための,艦隊規模のオフライン-オンライン強化学習フレームワークであるLWDを紹介する。
論文 参考訳（メタデータ） (2026-05-01T05:20:26Z) - RPG: Robust Policy Gating for Smooth Multi-Skill Transitions in Humanoid Fighting [52.18271301977709]
我々は,スムーズで安定したヒューマノイド多スキル移行のためのハイブリッド・エキスパート・ポリシー・フレームワークであるRPGを提案する。
本手法では,動き遷移のランダム化と時間的ランダム化を取り入れて,アジャイルな戦闘行動を生成する統一的な政策を訓練する。
我々は、歩行/走る移動と戦闘スキルを統合する制御パイプラインを設計し、人間のような長時間の戦闘を任意の期間で行えるようにした。
論文 参考訳（メタデータ） (2026-04-23T07:14:35Z) - SkillAttack: Automated Red Teaming of Agent Skills through Attack Path Refinement [66.44008181092832]
LLMベースのエージェントシステムは、その能力を拡張するためにオープンレジストリからのエージェントスキルにますます依存している。
SkillAttackは、敵のプロンプトを通じて、スキル脆弱性の脆弱性を検証できるフレームワークである。
論文 参考訳（メタデータ） (2026-04-05T06:25:11Z) - SLIM: Skill Learning with Multiple Critics [8.645929825516818]
自己指導型スキル学習は、環境の基盤となるダイナミクスを活用する有用な行動を取得することを目的としている。
相互情報に基づく潜在変数モデルは、このタスクでは成功したが、ロボット操作の文脈では依然として苦戦している。
SLIMは,ロボット操作に特化して,スキル発見のための多批判学習手法である。
論文 参考訳（メタデータ） (2024-02-01T18:07:33Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Latent Plans for Task-Agnostic Offline Reinforcement Learning [32.938030244921755]
本研究では,高次元カメラ観測からタスク非依存のロングホライゾンポリシーを学習するための新しい階層的アプローチを提案する。
我々の定式化によって、未確認のスキルの組み合わせを生産し、潜伏したスキルを"ステッチ"することで、時間的に拡張された目標を達成することが可能であることが示される。
実世界の25の異なる操作タスクに対するマルチタスクビズモータポリシーも学習し、模倣学習とオフライン強化学習の両方に優れています。
論文 参考訳（メタデータ） (2022-09-19T12:27:15Z) - Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。
本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。
ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
論文 参考訳（メタデータ） (2020-07-23T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。