論文の概要: Online Optimization for Offline Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2510.22027v1
• Date: Fri, 24 Oct 2025 21:12:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.742987
• Title: Online Optimization for Offline Safe Reinforcement Learning
• Title（参考訳）: オフライン型安全強化学習のためのオンライン最適化
• Authors: Yassine Chemingui, Aryan Deshwal, Alan Fern, Thanh Nguyen-Tang, Janardhan Rao Doppa,
• Abstract要約: オフライン型安全強化学習(OSRL)の問題点について検討する。 目標は、累積コスト制約の下で固定データから報酬を最大化するポリシーを学ぶことである。 そこで本研究では,オンライン最適化アルゴリズムとオフラインRLを組み合わせることで,この問題を最小限の目標とするOSRLアプローチを提案する。
• 参考スコア（独自算出の注目度）: 44.48700237186216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of Offline Safe Reinforcement Learning (OSRL), where the goal is to learn a reward-maximizing policy from fixed data under a cumulative cost constraint. We propose a novel OSRL approach that frames the problem as a minimax objective and solves it by combining offline RL with online optimization algorithms. We prove the approximate optimality of this approach when integrated with an approximate offline RL oracle and no-regret online optimization. We also present a practical approximation that can be combined with any offline RL algorithm, eliminating the need for offline policy evaluation. Empirical results on the DSRL benchmark demonstrate that our method reliably enforces safety constraints under stringent cost budgets, while achieving high rewards. The code is available at https://github.com/yassineCh/O3SRL.
• Abstract（参考訳）: 本研究の目的は, 累積コスト制約の下で固定データから報酬最大化ポリシーを学習することである。 そこで本研究では,オンライン最適化アルゴリズムとオフラインRLを組み合わせることで,この問題を最小限の目標とするOSRLアプローチを提案する。 近似オフラインRLオラクルと統合し、オンライン最適化をしない場合、この手法の近似最適性を証明する。 また、任意のオフラインRLアルゴリズムと組み合わせることができる実用的な近似を提案し、オフラインポリシー評価の必要性を排除した。 DSRLベンチマークの実証結果から,厳格なコスト予算の下で安全制約を確実に適用し,高い報奨を得られることを示した。 コードはhttps://github.com/yassineCh/O3SRLで公開されている。

関連論文リスト

• MOORL: A Framework for Integrating Offline-Online Reinforcement Learning [6.7265073544042995]
  オフラインおよびオンライン学習を統合するハイブリッドフレームワークであるMOORL(Meta Offline-Online Reinforcement Learning)を提案する。 提案手法は,オフラインデータとオンラインデータの相補的強みを効果的に組み合わせることで,探索の促進を図っている。 計算オーバーヘッドが最小限であるMOORLは、実世界のシナリオにおける実用的な応用の可能性を強調し、高い性能を達成する。
  論文  参考訳（メタデータ） (2025-06-11T10:12:50Z)
• Active Advantage-Aligned Online Reinforcement Learning with Offline Data [56.98480620108727]
  A3RLは,アクティブアドバンテージアライメント・アライメント・サンプリング・ストラテジーを取り入れた新しい信頼度を取り入れた手法である。 本手法はオフラインデータを利用する競合するオンラインRL技術より優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-11T20:31:59Z)
• Bayesian Design Principles for Offline-to-Online Reinforcement Learning [50.97583504192167]
  オフラインからオンラインへの微調整は、探索にコストがかかる、あるいは安全でない、現実世界のアプリケーションにとって極めて重要です。 本稿では,オフラインからオフラインまでの微調整のジレンマに対処する:エージェントが悲観的のままであれば,より良いポリシーを習得できないかもしれないが,楽観的になった場合,性能が突然低下する可能性がある。 このようなジレンマを解決するにはベイズ設計の原則が不可欠であることを示す。
  論文  参考訳（メタデータ） (2024-05-31T16:31:07Z)
• Semi-Offline Reinforcement Learning for Optimized Text Generation [35.1606951874979]
  強化学習(RL)では、オンラインとオフラインという、環境と対話するための2つの主要な設定がある。 オフライン手法は探索能力を犠牲にして効率よく報奨信号を得る。 オフラインからオンラインへスムーズに移行し、探索能力とトレーニングコストのバランスをとる新しいパラダイムである半オフラインRLを提案し、異なるRL設定を比較する理論的基盤を提供する。
  論文  参考訳（メタデータ） (2023-06-16T09:24:29Z)
• Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning [66.43003402281659]
  オンラインデータ収集を効率的に活用してオフラインデータセットを強化し補完する方法に、中心的な疑問が浮かび上がっている。 我々は、純粋なオフラインRLと純粋なオンラインRLという、両方の世界のベストを打ち負かす3段階のハイブリッドRLアルゴリズムを設計する。 提案アルゴリズムは,データ収集時に報酬情報を必要としない。
  論文  参考訳（メタデータ） (2023-05-17T15:17:23Z)
• Behavior Proximal Policy Optimization [14.701955559885615]
  オフライン強化学習(英語: offline reinforcement learning, RL)は、既存の非政治アクター批判的手法が不十分な課題である。 オンラインのオンライン政治アルゴリズムは、自然にオフラインのRLを解くことができる。 本稿では,制約や正規化を伴わずにオフラインのRLを解消する振舞いプロキシポリシー最適化(BPPO)を提案する。
  論文  参考訳（メタデータ） (2023-02-22T11:49:12Z)
• Constraints Penalized Q-Learning for Safe Offline Reinforcement Learning [15.841609263723575]
  安全オフライン強化学習(RL)の問題点について検討する。 目標は、オフラインデータのみに与えられる安全制約を満たしつつ、環境とのさらなる相互作用を伴わずに、長期的な報酬を最大化する政策を学習することである。 安全なRLとオフラインのRLの手法を組み合わせれば、準最適解しか学習できないことを示す。
  論文  参考訳（メタデータ） (2021-07-19T16:30:14Z)
• OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation [59.469401906712555]
  より原理的な方法で過大評価を防止するオフライン強化学習アルゴリズムを提案する。 提案アルゴリズムであるOptiDICEは,最適ポリシーの定常分布補正を直接推定する。 OptiDICEは最先端の手法と競合して動作することを示す。
  論文  参考訳（メタデータ） (2021-06-21T00:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。