論文の概要: Beyond Safe Execution: Safe Online Reinforcement Learning for Autonomous Driving with Value Calibration and Adaptive Guidance
- arxiv url: http://arxiv.org/abs/2610.17799v1
- Date: Tue, 13 Oct 2026 06:28:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 17:09:58.015262
- Title: Beyond Safe Execution: Safe Online Reinforcement Learning for Autonomous Driving with Value Calibration and Adaptive Guidance
- Title（参考訳）: 安全な実行を超えて - 価値キャリブレーションと適応ガイダンスを備えた自律運転のための安全なオンライン強化学習
- Abstract要約: オンライン強化学習(RL)は、展開条件の変更に適応するための運転ポリシーを可能にするが、トレーニング全体を通して安全な探索が必要である。
安全フィルタリングだけでは、安定的な政策改善や修正への依存の軽減は保証されない。
オフラインのフローベースの運転ポリシーを安全かつ安定したオンライン微調整を行うためのフレームワークであるSafe Online Adaptive Refinement (SOAR-Flow)を提案する。
- 参考スコア（独自算出の注目度）: 8.665369041430969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online reinforcement learning (RL) enables driving policies to adapt to changing deployment conditions, but requires safe exploration throughout training. Safety filtering alone does not ensure stable policy improvement or reduced dependence on corrections. We propose Safe Online Adaptive Refinement (SOAR-Flow), a framework for safe and stable online fine-tuning of offline-initialized Flow-based driving policies. A control barrier function (CBF)--model predictive control (MPC) filter corrects potentially unsafe actions before execution. To support stable policy updates, we introduce Gaussian-return-aware value calibration based on calibrated Q-learning (Cal-QL), using recorded behavior returns and predicted return variability to smooth conservative critic updates and mitigate policy degradation. Paired corrective learning teaches feasible action adjustments, while an intervention-to-go predictor encourages decisions requiring fewer future corrections. Its predictions also regulate guidance strength, allowing recovery supervision to weaken as predicted dependence decreases. Together with gradually reduced calibration regularization, this supports continued task improvement while preserving hard execution constraints. We analyze conditions for safe execution at control steps and diminishing auxiliary learning influences. We evaluate SOAR-Flow in simulation and on an uncrewed ground vehicle (UGV). The results demonstrate improved driving performance and reduced reliance on safety corrections during protected online fine-tuning. The demonstration video and project overview are available at https://lzqw.github.io/SOAR-Flow/.
- Abstract（参考訳）: オンライン強化学習(RL)は、展開条件の変更に適応するための運転ポリシーを可能にするが、トレーニング全体を通して安全な探索が必要である。
安全フィルタリングだけでは、安定的な政策改善や修正への依存の軽減は保証されない。
我々は,オフライン初期化フローベースの運転ポリシーの安全かつ安定したオンライン微調整のためのフレームワークであるSafe Online Adaptive Refinement (SOAR-Flow)を提案する。
制御バリア関数(CBF)-モデル予測制御(MPC)フィルタは、実行前に潜在的に安全でない動作を修正する。
安定なポリシー更新をサポートするために,キャリブレーションされたQ-ラーニング(Cal-QL)に基づくガウス・リターン・アウェア値のキャリブレーションを導入する。
ペア化された修正学習は実行可能な行動調整を教え、介入する予測者は将来の修正を少なくする決定を奨励する。
その予測はまたガイダンスの強度を規制し、予測される依存が減少するにつれてリカバリの監督が弱まるようにする。
キャリブレーションの正規化を徐々に減らし、ハードな実行制約を保ちながら継続的なタスク改善をサポートする。
制御段階における安全な実行条件を分析し,補助学習の影響を低減させる。
シミュレーションおよび無人地上車両(UGV)におけるSOAR-Flowの評価を行った。
その結果、運転性能が向上し、保護されたオンライン微調整時の安全修正への依存が軽減された。
デモビデオとプロジェクトの概要はhttps://lzqw.github.io/SOAR-Flow/.orgで公開されている。
関連論文リスト
- Q-learning Penalized Transformer for Safe Offline Reinforcement Learning [59.26714065630563]
本稿では、オフラインデータセットを用いた安全制約を満たすためのポリシーのトレーニングを含む、安全なオフライン強化学習の問題に対処する。
本稿では,制約認識値推定による条件付きシーケンスモデリングを橋渡しする,訓練・推論一貫したフレームワークであるQ-learning Penalized Transformer Policy (QPT)を提案する。
本稿では,Q-penalized conditional generation がいかに安全性と性能を向上するかを特徴付ける,スタイリングされた近決定性CMDPの原理解析を行う。
論文 参考訳（メタデータ） (2026-09-28T06:43:22Z) - From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。
敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。
実験の結果、最大40.6%のトレーニングステップが短縮された。
論文 参考訳（メタデータ） (2026-06-12T02:13:55Z) - SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data [49.370849653460716]
本稿では,アクタに整列したオフポリシー評価信号を用いたSOPEを,自動早期停止機構として提案する。
Minariベンチマークスイートから25の継続的制御タスクを評価した。
SOPEはベースライン性能を最大45.6%改善し、必要なTFLOPを最大22倍改善した。
論文 参考訳（メタデータ） (2026-05-07T08:32:09Z) - Epigraph-Guided Flow Matching for Safe and Performant Offline Reinforcement Learning [0.0]
本稿では,安全なオフラインRLを状態制約付き最適制御問題として定式化し,安全性と性能を協調的に最適化するフレームワークを提案する。
EpiFlowは、ほぼゼロの実証的安全違反で競合リターンを達成する。
論文 参考訳（メタデータ） (2026-02-08T16:56:21Z) - Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。
本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。
アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文 参考訳（メタデータ） (2025-10-01T12:29:32Z) - Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。
安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。
複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
論文 参考訳（メタデータ） (2025-08-17T23:46:36Z) - ADReFT: Adaptive Decision Repair for Safe Autonomous Driving via Reinforcement Fine-Tuning [22.803044962152878]
自律運転システムに対する適応決定修復(ADreFT)を提案する。
ADReFTは、失敗するテストからのオフライン学習を通じて安全クリティカルな状態を識別し、適切な緩和アクションを生成する。
評価結果から,ADReFTによる補修性能の向上が示唆された。
論文 参考訳（メタデータ） (2025-06-30T15:29:36Z) - FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning [7.888219789657414]
安全なオフライン強化学習は、安全性の制約を守りながら累積報酬を最大化するポリシーを学ぶことを目的としている。
主な課題は安全性とパフォーマンスのバランスであり、特に政策がアウト・オブ・ディストリビューション状態や行動に直面する場合である。
本稿では,マルコフ決定過程における持続的安全性を優先するFAWAC(Feasibility Informed Advantage Weighted Actor-Critic)を提案する。
論文 参考訳（メタデータ） (2024-12-12T02:28:50Z) - Model-Based Safe Reinforcement Learning with Time-Varying State and
Control Constraints: An Application to Intelligent Vehicles [13.40143623056186]
本稿では、時間変化状態と制御制約を持つ非線形システムの最適制御のための安全なRLアルゴリズムを提案する。
多段階の政策評価機構が提案され、時間変化による安全制約の下での政策の安全性リスクを予測し、安全更新を誘導する。
提案アルゴリズムは、シミュレーションされたセーフティガイム環境において、最先端のRLアルゴリズムよりも優れている。
論文 参考訳（メタデータ） (2021-12-18T10:45:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。