論文の概要: Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation

• arxiv url: http://arxiv.org/abs/2601.07821v1
• Date: Mon, 12 Jan 2026 18:53:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.783519
• Title: Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation
• Title（参考訳）: フェール・アウェア RL: リアルタイムマニピュレーションのための自己回復型オフライン・オンライン強化学習
• Abstract要約: FARL(Failure-Aware Offline-to-Online Reinforcement Learning)は、実世界の強化学習における障害を最小限にする新しいパラダイムである。 本研究では,オンライン探索における障害防止のために,世界モデルに基づく安全評論家とオフラインで訓練された回復ポリシーを統合するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 48.26705293834693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training algorithms based on deep reinforcement learning can push the limits of robotic models for specific objectives, such as generalizability, accuracy, and robustness. However, Intervention-requiring Failures (IR Failures) (e.g., a robot spilling water or breaking fragile glass) during real-world exploration happen inevitably, hindering the practical deployment of such a paradigm. To tackle this, we introduce Failure-Aware Offline-to-Online Reinforcement Learning (FARL), a new paradigm minimizing failures during real-world reinforcement learning. We create FailureBench, a benchmark that incorporates common failure scenarios requiring human intervention, and propose an algorithm that integrates a world-model-based safety critic and a recovery policy trained offline to prevent failures during online exploration. Extensive simulation and real-world experiments demonstrate the effectiveness of FARL in significantly reducing IR Failures while improving performance and generalization during online reinforcement learning post-training. FARL reduces IR Failures by 73.1% while elevating performance by 11.3% on average during real-world RL post-training. Videos and code are available at https://failure-aware-rl.github.io.
• Abstract（参考訳）: 深層強化学習に基づくポストトレーニングアルゴリズムは、汎用性、正確性、堅牢性など、特定の目的のためにロボットモデルの限界を押し上げることができる。 しかし、実世界の探査におけるインターベンション要求障害(例えば、ロボットが水をこぼしたり、壊れやすいガラスを壊したりする)は必然的に起こり、そのようなパラダイムの実践的な展開を妨げる。 そこで本研究では,FARL(Failure-Aware Offline-to-Online Reinforcement Learning)を導入した。 我々は、人間の介入を必要とする一般的な障害シナリオを組み込んだベンチマークであるFailureBenchを作成し、オンライン探索中の障害を防止するために、ワールドモデルベースの安全評論家とオフラインでトレーニングされた回復ポリシーを統合するアルゴリズムを提案する。 大規模シミュレーションと実世界の実験により、FARLがIR障害を大幅に低減し、オンライン強化学習後トレーニングのパフォーマンスと一般化を改善した。 FARLはIR故障を73.1%削減し、実世界のRL後トレーニングでは平均で11.3%向上した。 ビデオとコードはhttps://failure-aware-rl.github.io.comで公開されている。

関連論文リスト

• Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement [52.93267443851685]
  VLA(Vision-Language-Action)モデルは様々な操作タスクにまたがって一般化することができる。 シミュレーションで純粋に訓練された強化学習政策は、実世界のVLAのゼロショットの堅牢性を改善することができるか? 本稿では,オブジェクトポーズを用いてVLA動作を洗練するオブジェクト中心残差RLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-17T11:36:54Z)
• Recover, Discover, Plan: Learning Skills and Concepts from Robot Failures [50.668639270656115]
  ReSYNCは、スキルと概念を学び、抽象的な計画を支援するために抽象ライブラリを洗練するロボットである。 本稿では,ReSYNCの抽象ライブラリを継続的に拡張・改良する能力により,従来は見つからなかった長期の問題を解くことができることを示す。 全体として、ReSYNCは、スケーラブルで障害対応の計画のための抽象化を自律的に取得するロボットにとって、重要なステップである。
  論文  参考訳（メタデータ） (2026-06-16T17:59:57Z)
• BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models [13.727092172889305]
  VLA(Vision-Language-Action)モデルは、現実のロボット操作に対する視覚言語理解の基盤となる、有望なパラダイムとして登場した。 実世界のデクスタスVLAモデル用に設計されたオフライン-オンラインRLポストトレーニングフレームワークBORAを提案する。
  論文  参考訳（メタデータ） (2026-05-28T16:57:47Z)
• Incremental Residual Reinforcement Learning Toward Real-World Learning for Social Navigation [2.1204495827342438]
  ソーシャルナビゲーションは重要な課題として現れ、深層強化学習(RL)アプローチの研究を推進している。 エージェントが物理的な環境で直接操作しながら学習する現実世界のRLは、この問題に対して有望な解決策を提供する。 本研究では,基本方針に対する残差のみをトレーニングすることで学習効率を向上させるインクリメンタル残差RL(IRRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-09T08:08:37Z)
• WoVR: World Models as Reliable Simulators for Post-Training VLA Policies with RL [30.884160045861616]
  我々は、VLAポリシーの訓練後、信頼性の高い世界モデルに基づく強化学習フレームワークであるWoVRを提案する。 制御可能なアクション条件付きビデオワールドモデルによってロールアウト安定性を向上させる。 また、Keyframe-evolutiond Rolloutsによる効果的なエラー深度を低減するために、想像上のインタラクションを再確認する。
  論文  参考訳（メタデータ） (2026-02-15T03:48:20Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Offline Robotic World Model: Learning Robotic Policies without a Physics Simulator [50.191655141020505]
  強化学習(Reinforcement Learning, RL)は、ロボット制御において目覚ましい能力を示してきたが、高いサンプルの複雑さ、安全性の懸念、そしてシム・トゥ・リアルのギャップのため、依然として困難である。 物理シミュレータに頼らずに政策学習を改善するために不確実性を明示的に推定するモデルベースアプローチであるオフラインロボット世界モデル(RWM-O)を導入する。
  論文  参考訳（メタデータ） (2025-04-23T12:58:15Z)
• Robustness Evaluation of Offline Reinforcement Learning for Robot Control Against Action Perturbations [4.849820402342814]
  オフライン強化学習は特に ロボット制御の応用に有望です ロボットの関節アクチュエータ障害のような現実世界の課題に対する堅牢性は、依然として重要な関心事である。 本研究は,OpenAI Gymの脚ロボットを用いた既存のオフライン強化学習手法のロバスト性を評価する。
  論文  参考訳（メタデータ） (2024-12-25T05:02:22Z)
• Augmenting Replay in World Models for Continual Reinforcement Learning [0.0]
  連続RLは、エージェントが過去のタスクと将来のタスクの両方を改善しながら、以前のタスクを忘れずに新しいタスクを学ぶ必要がある。 最も一般的なアプローチは、モデルフリーのアルゴリズムとリプレイバッファを使って破滅的な忘れを軽減している。 WMAR(World Models with Augmented Replay)は,メモリ効率のよいリプレイバッファを持つモデルベースRLアルゴリズムである。
  論文  参考訳（メタデータ） (2024-01-30T00:48:26Z)
• Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning [93.99377042564919]
  本稿では,潜在的利点の探索を妨げることなく,より柔軟な値推定制約を構築することを試みる。 鍵となるアイデアは、オフラインポリシの"テストベッド"として、オンライン形式で簡単に操作可能な、市販のRLシミュレータを活用することだ。 我々は、状態と報酬空間におけるドメイン間の差異を軽減するモデルベースのRLアプローチであるCoWorldを紹介する。
  論文  参考訳（メタデータ） (2023-05-24T15:45:35Z)
• Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning [70.70104870417784]
  強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。 現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。 本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
  論文  参考訳（メタデータ） (2022-07-11T08:31:22Z)
• Autonomous Reinforcement Learning: Formalism and Benchmarking [106.25788536376007]
  人間や動物が行うような現実世界の具体的学習は、連続的で非エポゾディックな世界にある。 RLの一般的なベンチマークタスクはエピソジックであり、試行錯誤によってエージェントに複数の試行を行う環境がリセットされる。 この相違は、擬似環境向けに開発されたRLアルゴリズムを現実世界のプラットフォーム上で実行しようとする場合、大きな課題となる。
  論文  参考訳（メタデータ） (2021-12-17T16:28:06Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)
• CLAMGen: Closed-Loop Arm Motion Generation via Multi-view Vision-Based RL [4.014524824655106]
  腕到達問題における閉ループ軌道生成のための視覚に基づく強化学習(RL)手法を提案する。 アームの軌道生成は、ロボットの体を動かすための衝突のない経路を見つけることを含む基本的なロボティクス問題です。
  論文  参考訳（メタデータ） (2021-03-24T15:33:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。