論文の概要: Monotone Viability Learning for Offline Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.07616v1
• Date: Thu, 05 Nov 2026 08:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.59265
• Title: Monotone Viability Learning for Offline Safe Reinforcement Learning
• Title（参考訳）: オフライン型安全強化学習のためのモノトン生存学習
• Abstract要約: オフラインの安全強化学習には、固定データから信頼できる長距離安全推定が必要である。 本稿では,モノトン有限ホライゾン集合再帰を通じてオフライン遷移から実行可能な集合を学習するモノトン生存学習(MoViL)を提案する。 バイナリ監視は地平線を越えた固定された目標スケールを維持し、割引による数値減衰を避ける。
• 参考スコア（独自算出の注目度）: 6.367136747733968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline safe reinforcement learning requires reliable long-horizon safety estimates from fixed data. Learning Hamilton-Jacobi (HJ) viability in this setting calls for semantic preservation, convergence, and numerical stability. To address these challenges, we propose Monotone Viability Learning (MoViL), which learns viable sets from offline transitions through monotone finite-horizon set recursion. The recursion preserves finite-horizon safety semantics and converges to the infinite-horizon viability kernel. Binary supervision maintains a fixed target scale across horizons, avoiding discount-induced numerical attenuation. We further establish sufficient conditions for recovering behavior-supported viable subsets. The learned viability estimates are used to certify actions at deployment. Dubins car experiments validate the numerical accuracy of the learned viable sets. Evaluations on safe RL benchmarks demonstrate state-of-the-art reward-cost performance. MoViL satisfies the average cost constraint on every task and achieves the lowest average cost among the compared methods. These results highlight MoViL's potential to extend long-horizon HJ viability analysis to safety-critical systems where reliable dynamics models are unavailable and online exploration is unsafe.
• Abstract（参考訳）: オフラインの安全強化学習には、固定データから信頼できる長距離安全推定が必要である。 この設定でハミルトン・ヤコビ(HJ)の生存性を学ぶことは、意味保存、収束、数値安定性を要求する。 これらの課題に対処するために、モノトン有限ホライゾン集合再帰を通じてオフライン遷移から実行可能な集合を学習するモノトン生存学習(MoViL)を提案する。 この再帰は有限水平安全性のセマンティクスを保持し、無限水平生存カーネルに収束する。 バイナリ監視は地平線を越えた固定された目標スケールを維持し、割引による数値減衰を避ける。 さらに、動作支援可能なサブセットを回復するための十分な条件を確立する。 学習した生存可能性見積は、デプロイメント時のアクションの認証に使用される。 デュビンの自動車実験は、学習可能な集合の数値的精度を検証する。 安全なRLベンチマークの評価は、最先端の報奨コストのパフォーマンスを示している。 MoViLは各タスクの平均コスト制約を満たし、比較したメソッドの中で最低平均コストを達成する。 これらの結果は、MoViLが長期HJビヘイビアビリティ分析を、信頼性の高いダイナミクスモデルが利用できず、オンライン探索が安全でない安全クリティカルシステムに拡張する可能性を強調している。

関連論文リスト

• Gradient-Free Neural Hamilton-Jacobi Reachability for Scalable Safety-Critical Control [6.387263468033964]
  Hamilton-Jacobi (HJ) の到達性は、安全証明書と安全クリティカルなロボットシステムのための堅牢なコントローラを合成するための原則化されたフレームワークを提供する。 高次元非線形系への到達可能性解析の適用は依然として困難である。 本稿では,制御分散アフィンシステムのための離散時間ニューラルリーチビリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-12T18:03:51Z)
• Formal Synthesis of Certifiably Robust Neural Lyapunov-Barrier Certificates [9.62123513414546]
  システム力学における摂動下での保証を維持するために, インプロバスト型神経リプノフバリア証明書を合成する問題について検討する。 我々は,これらの条件を,敵対的トレーニング,リプシッツ地区境界,グローバルリプシッツ正規化を通じて実施する実践的な訓練目標を提案する。 本研究は, 動的摂動下での安全RLのための堅牢なニューラルネットワーク証明書のトレーニングの有効性を実証した。
  論文  参考訳（メタデータ） (2026-02-05T05:08:01Z)
• Breaking the Safety-Capability Tradeoff: Reinforcement Learning with Verifiable Rewards Maintains Safety Guardrails in LLMs [3.198812241868092]
  検証可能な報酬(RLVR)による強化学習は、客観的に測定可能なタスクのモデルを最適化する有望な代替手段として登場した。 RLVRにおける安全特性の総合的・実証的な分析を行った。 実証実験により,RLVRは安全ガードレールの維持・改善を図りながら推論能力を同時に向上できることを示す。
  論文  参考訳（メタデータ） (2025-11-26T04:36:34Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Feasibility-Aware Pessimistic Estimation: Toward Long-Horizon Safety in Offline RL [14.767273209148545]
  CVAEに基づくペシミズム(FASP)を用いたオフラインセーフ強化学習フレームワークを提案する。 我々はハミルトン・ヤコビ(H-J)リーチビリティ解析を用いて信頼性の高い安全ラベルを生成する。 また,報酬とコストのQ値の推定にも悲観的推定法を用いる。
  論文  参考訳（メタデータ） (2025-05-13T02:32:49Z)
• Inverse Reinforcement Learning with Dynamic Reward Scaling for LLM Alignment [51.10604883057508]
  DR-IRL(逆強化学習によるリワードの動的調整)を提案する。 まず、IRLを介して7つの有害なカテゴリをカバーするバランスの取れた安全データセットを用いて、カテゴリ固有の報酬モデルを訓練する。 次に,テキストエンコーダのコサイン類似性によるデータレベルの硬さ,報酬ギャップによるモデルレベルの応答性など,タスク難易度による報酬を導入することにより,グループ相対政策最適化(GRPO)を強化する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:29Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。