論文の概要: RBGA: Residual-Budget Guide Arbitration for Offline-to-Online Safe Reinforcement Learning in Dexterous Manipulation
- arxiv url: http://arxiv.org/abs/2610.33494v1
- Date: Sat, 24 Oct 2026 06:52:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.344772
- Title: RBGA: Residual-Budget Guide Arbitration for Offline-to-Online Safe Reinforcement Learning in Dexterous Manipulation
- Title（参考訳）: RBGA(Residual-Budget Guide Arbitration for Offline-to-Online Safe Reinforcement Learning in Dexterous Manipulation)
- Abstract要約: オフラインからオンラインまでの安全な強化学習(O2OSafe RL)は、この問題に対して有望な解決策を提供する。
既存のO2OセーフなRLアプローチは、エピソード内で決定を行う際に既に消費されている安全予算を明示的に考慮していない。
textbfResidual-textbfBudget textbfGuide textbfArbitration (RBGA) を提案する。
- 参考スコア（独自算出の注目度）: 24.139085242115414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dexterous manipulation requires robots to leverage existing datasets for rapid skill acquisition while maintaining safety during real-world deployment to prevent damage to the robot or its surroundings. Offline-to-online safe reinforcement learning (O2O safe RL) provides a promising solution for this problem by leveraging prior experience for online improvement under safety constraints, thereby mitigating the sample inefficiency and exploration risk of learning safe policies from scratch. However, existing O2O safe RL approaches do not explicitly account for the safety budget already consumed when making decisions within an episode. Excessive cost incurred early can therefore leave little room for subsequent exploration and policy improvement. To address this limitation, we propose \textbf{R}esidual-\textbf{B}udget \textbf{G}uide \textbf{A}rbitration (RBGA), an algorithm that explicitly tracks the remaining episode safety budget and uses it to adaptively select between offline guidance and the evolving online policy. At each step, RBGA compares the cost-to-go estimates of the guide and online actions against the remaining budget, enabling step-wise action arbitration throughout the episode. We provide theoretical analysis characterizing the safety implications of residual-budget-based selection and its effect on guide-assisted exploration. Extensive experiments demonstrate that RBGA enables effective online policy improvement while maintaining strong safety performance. Our code is available at this \href{https://github.com/sii-pilab}{link}.
- Abstract（参考訳）: 有害な操作では、ロボットや周囲の損傷を防ぐために、現実のデプロイメント中に安全性を維持しながら、既存のデータセットを活用して、迅速なスキル獲得を行う必要がある。
オフラインからオンラインまでの安全な強化学習(O2OSafe RL)は、安全制約下でのオンライン改善に事前の経験を活用することにより、安全ポリシーをゼロから学習する際のサンプルの非効率性と探索リスクを軽減し、この問題に対して有望な解決策を提供する。
しかし、既存のO2OセーフなRLアプローチは、エピソード内で決定を行う際に既に消費されている安全予算を明示的に考慮していない。
そのため、早期に調達した過剰なコストは、その後の調査と政策改善の余地をほとんど残さない。
この制限に対処するために、我々は、残りのエピソードセーフティ予算を明示的に追跡し、オフラインガイダンスと進化するオンラインポリシーの間を適応的に選択するアルゴリズムである、 \textbf{R}esidual-\textbf{B}udget \textbf{G}uide \textbf{A}rbitration (RBGA)を提案する。
各ステップでRBGAは、ガイドとオンラインアクションのコスト対効果の見積もりを残りの予算と比較し、エピソード全体を通してステップワイズアクションの仲裁を可能にする。
残留予算に基づく選択の安全性とガイド支援探索に対する影響を特徴付ける理論的解析を行った。
RBGAは安全性能を維持しつつ,効果的なオンライン政策改善を可能にすることが実証された。
私たちのコードは、この \href{https://github.com/sii-pilab}{link} で利用可能です。
関連論文リスト
- OSIL: Learning Offline Safe Imitation Policies with Safety Inferred from Non-preferred Trajectories [5.52395321369933]
本研究は,オフライン安全な模倣学習(IL)の問題に対処する。
目標は、時間ごとの安全コストや報奨情報を持たないデモから、安全で報酬を最大化するポリシーを学ぶことである。
非推奨のデモンストレーションから安全性を推論する新しいオフライン安全なILアルゴリズムOSILを提案する。
論文 参考訳（メタデータ） (2026-02-11T16:41:16Z) - Offline Safe Policy Optimization From Heterogeneous Feedback [35.454656807434006]
報酬の観点からエージェントの行動に関する一対の嗜好に基づいてポリシーを学習するフレームワークと、軌道セグメントの安全性を示すバイナリラベルを導入する。
提案手法は,高い報酬で安全な政策を学習し,最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2025-12-23T09:07:53Z) - Guardian: Decoupling Exploration from Safety in Reinforcement Learning [12.966077380225856]
ハイブリッドオフラインオンライン強化学習(O2O RL)は、サンプル効率と堅牢な探索の両方を約束するが、オフラインデータとオンラインデータの分散シフトによって不安定に陥る。
安全対策から政策最適化を分離するフレームワーク RLPD-GX を紹介する。
Atari-100k上での最先端性能を実証的に示し, 安全性と安定性が向上し, 正常化平均スコア3.02(+45%)を達成した。
論文 参考訳（メタデータ） (2025-10-26T22:25:47Z) - Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。
B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。
実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
論文 参考訳（メタデータ） (2025-09-30T03:38:20Z) - Don't Trade Off Safety: Diffusion Regularization for Constrained Offline RL [21.316556011382932]
制約付き強化学習(RL)は、安全制約下での高性能な政策を求める。
拡散規則化制約付きオフライン強化学習(DRCORL)を提案する。
DRCORLは、まず拡散モデルを使用して、オフラインデータから行動ポリシーをキャプチャし、その後、効率的な推論を可能にするために単純化されたポリシーを抽出する。
論文 参考訳（メタデータ） (2025-02-18T00:00:03Z) - Guided Online Distillation: Promoting Safe Reinforcement Learning by
Offline Demonstration [75.51109230296568]
オフラインデータから専門家ポリシーを抽出してオンライン探索をガイドすることは、保存性の問題を軽減するための有望な解決策である、と我々は主張する。
オフラインからオンラインまでの安全なRLフレームワークであるGOLD(Guid Online Distillation)を提案する。
GOLDは、オフラインDTポリシーをオンラインセーフなRLトレーニングを通じて軽量なポリシーネットワークに蒸留し、オフラインDTポリシーとオンラインセーフなRLアルゴリズムの両方を上回っている。
論文 参考訳（メタデータ） (2023-09-18T00:22:59Z) - SaFormer: A Conditional Sequence Modeling Approach to Offline Safe
Reinforcement Learning [64.33956692265419]
オフラインセーフなRLは、現実世界のアプリケーションにエージェントをデプロイする上で、非常に実用的な関連性を持っています。
そこで我々は,SaFormerと呼ばれる新しいオフラインセーフなRLアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-28T13:57:01Z) - Safety Correction from Baseline: Towards the Risk-aware Policy in
Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。
このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。
提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文 参考訳（メタデータ） (2022-12-14T03:11:25Z) - Safe Online Bid Optimization with Return-On-Investment and Budget
Constraints subject to Uncertainty [87.81197574939355]
最適化問題と学習問題の両方について検討する。
我々は、潜在的に線形な数の制約違反を犠牲にして、サブ線形後悔を保証するアルゴリズム、すなわちGCBを提供する。
より興味深いことに、我々はGCB_safe(psi,phi)というアルゴリズムを提供し、サブ線形擬似回帰と安全性w.h.p.の両方を、耐性 psi と phi を受け入れるコストで保証する。
論文 参考訳（メタデータ） (2022-01-18T17:24:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。