論文の概要: Safe Score Matching: Diffusion Policies with Hamilton-Jacobi Reachability for Online Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.33337v1
• Date: Sun, 27 Sep 2026 08:09:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 01:04:00.624493
• Title: Safe Score Matching: Diffusion Policies with Hamilton-Jacobi Reachability for Online Safe Reinforcement Learning
• Title（参考訳）: 安全なスコアマッチング: オンライン安全な強化学習のためのハミルトン・ヤコビの拡散政策
• Abstract要約: オンライン安全強化学習(RL)は、安全制約を満たしつつ報酬を最大化する政策を模索している。 本稿では,Qスコアマッチングを制約付き安全なRLに適応させる,非政治アクター批判手法であるSafe Score Matching (SSM)を提案する。 SSMは、フェールセーフレートで最高の、またはほぼ最高のタスクパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 2.8912413740517757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online safe reinforcement learning (RL) seeks policies that maximize reward while satisfying safety constraints. A popular line of research in safe RL relaxes safety to a soft expected-cost constraint and solves the resulting Constrained Markov Decision Process via primal-dual Lagrangian updates that only enforce safety on average. To address this limitation, hard, state-wise constraints are introduced and often imposed through Hamilton-Jacobi (HJ) reachability. Yet such constraints require solving different objectives in the feasible and infeasible regions: reward maximization in the former, recovery toward the feasible regions in the latter. The resulting target action distributions are inherently multimodal, and this structure poses a fundamental challenge for the Gaussian or deterministic actors used in existing HJ-based safe RL, which often collapse onto suboptimal modes. Diffusion policies provide the expressiveness needed to represent such distributions, and recent work on Q-score matching offers a route to training them for online RL by score regression -- but has been applied only to reward maximization. We propose Safe Score Matching (SSM), an off-policy actor-critic method that adapts Q-score matching to hard-constrained safe RL by gating a two-branch score target with HJ reachability: inside the feasible set, the denoising process degenerates to Q-score matching on actions classified as viable by the HJ critic; outside, a recovery branch biases denoising toward regions with lower worst-case violation. On quadrotor and fixed-wing trajectory-tracking and stabilize-and-avoid benchmarks, SSM attains the best or near-best task performance with low false-safe rates, whereas the primal-dual baseline admits more unsafe behavior and reachability-based baselines tend to be more conservative; on Safety-Gymnasium velocity tasks, SSM attains the lowest cost with competitive reward.
• Abstract（参考訳）: オンライン安全強化学習(RL)は、安全制約を満たしつつ報酬を最大化する政策を模索している。 安全なRLの一般的な研究ラインは、ソフトな予測コストの制約に安全を緩和し、結果として生じる制約付きマルコフ決定プロセスを、平均的な安全性のみを強制する原始二重ラグランジアン更新によって解決する。 この制限に対処するため、ハードな状態制限が導入され、ハミルトン・ヤコビ(HJ)の到達可能性を通じてしばしば課される。 しかし、そのような制約は、実現可能かつ実現不可能な領域における異なる目的(前者における報酬の最大化、後者における実行可能領域への回復)の解決を必要とする。 この構造は、既存のHJベースの安全なRLで使用されるガウス的あるいは決定論的アクターにとって根本的な挑戦であり、しばしば準最適モードに崩壊する。 拡散ポリシーはそのような分布を表現するのに必要な表現力を提供し、Qスコアマッチングに関する最近の研究は、スコアレグレッションによるオンラインRLのためのトレーニングルートを提供するが、最大化にのみ適用されている。 本研究では, 安全なスコアマッチング手法であるセーフスコアマッチング(SSM)を提案する。これは, 2分岐スコア目標をHJ到達性でゲーティングすることで, 厳しい制約付き安全RLにQスコアマッチングを適応させる。 四重項および固定翼軌道追跡および安定離心率のベンチマークでは、SSMは最良または最良に近いタスク性能を低いフェイルセーフレートで達成する一方、プリマルデュアルベースラインはより安全でない振る舞いを認め、到達可能性に基づくベースラインはより保守的である傾向にある。

関連論文リスト

• CSPO: Constraint-Sensitive Policy Optimization for Safe Reinforcement Learning [9.011823422505378]
  本稿では,局所的制約感度をポリシー更新に組み込む一階法である制約感作政策最適化(CSPO:Constraint-Sensitive Policy Optimization)を提案する。 CSPOは、最も短い符号付き距離から安全境界までの制約に敏感な補正により、主目的を増強し、よりスマートな回復ステップを安全に戻すことができる。 ナビゲーションと移動ベンチマークの実験では、CSPOはより高速な安全回復と高い報酬保存を実現し、より高い制約付きリターンをもたらすことが示されている。
  論文  参考訳（メタデータ） (2026-06-12T12:48:56Z)
• Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning [13.674504740468159]
  安全到達性セットは、不安定なmin/maxやラグランジアン最適化を伴わずに、いかに安全制約を強制するかを示す。 また、このセットが不安定なmin/maxやラグランジアン最適化を使わずに、いかに安全性の制約を強制するかを示す。 本手法は,安全性を維持しつつ,アートベースラインの状態に適合または優れる。
  論文  参考訳（メタデータ） (2026-03-08T11:09:33Z)
• Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
  本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。 我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
  論文  参考訳（メタデータ） (2026-02-12T03:31:19Z)
• Safety-Biased Policy Optimisation: Towards Hard-Constrained Reinforcement Learning via Trust Regions [7.419036996978718]
  安全クリティカルドメインにおける強化学習(RL)は、安全制約に厳格に固執しつつ報酬を最大化することを要求する。 本稿では、制約の厳しいRLのための新しい信頼領域アルゴリズムであるSB-TRPO(Safety-Biased Trust Region Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-12-29T07:15:07Z)
• Certifiable Safe RLHF: Fixed-Penalty Constraint Optimization for Safer Language Models [7.422627253922975]
  我々は,大規模コーパスでトレーニングされたコストモデルであるCertifiable Safe-RLHFを導入し,セマンティックグラウンドの安全性スコアを割り当てる。 適切にスケールされたペナルティにより、二重変数更新の必要性を排除し、安全制約の実現性を保証することができる。 経験的評価により、CS-RLHFは、名目や脱獄のプロンプトに対して、最先端のモデル応答よりも5倍効率が高いことが示されている。
  論文  参考訳（メタデータ） (2025-10-03T21:24:41Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality [53.525547349715595]
  我々はRectified Robust Policy Optimization (RRPO) と呼ばれる新しいプライマリのみのアルゴリズムを提案する。 RRPOは双対の定式化に頼ることなく、主問題に直接作用する。 我々は、最もよく知られた下界と一致する複雑性を持つ、ほぼ最適な実現可能なポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2025-08-24T16:59:38Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• Safe Offline Reinforcement Learning with Feasibility-Guided Diffusion Model [23.93820548551533]
  FISOR(FeasIbility-guided Safe Offline RL)を提案する。 FISORでは、変換された最適化問題に対する最適ポリシーは、重み付けされた行動クローニングの特別な形態で導出することができる。 FISORは、ほとんどのタスクにおいて最上位のリターンを達成しつつ、すべてのタスクにおいて安全満足を保証できる唯一の方法であることを示す。
  論文  参考訳（メタデータ） (2024-01-19T14:05:09Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。