論文の概要: Reachability-Aware Diffusion Policy Optimization

• arxiv url: http://arxiv.org/abs/2610.05969v1
• Date: Mon, 05 Oct 2026 08:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:47:35.931328
• Title: Reachability-Aware Diffusion Policy Optimization
• Title（参考訳）: 到達可能性を考慮した拡散政策最適化
• Abstract要約: 本稿では,予測的ファーストヒート安全性推定と累積コストの予算フィードバックを組み合わせたモデルフリー手法であるReachability-Aware Diffusion Policy Optimization (RADPO)を提案する。 RADPOは、コストイベントの割引リスクを捉え、より早く発生するイベントにより大きな重みを割り当て、この信号を使用して報酬を形成するディスカウントファーストヒット到達可能性値を学ぶ。 我々の理論的かつ実証的な分析は、累積的な予算フィードバックと到達可能性を組み合わせることは、安全に配慮した拡散政策への実行可能なアプローチであると考えている。
• 参考スコア（独自算出の注目度）: 4.600772894287281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion policies provide expressive action distributions for continuous-control reinforcement learning. However, safety-aware online diffusion policy optimization remains underexplored, particularly methods that use predictive reachability information without an explicit dynamics model. We propose Reachability-Aware Diffusion Policy Optimization (RADPO), a model-free method that combines predictive first-hit safety estimation with cumulative-cost budget feedback. RADPO learns a discounted first-hit reachability value that captures the discounted risk of a cost event, assigns larger weight to events that occur sooner, and uses this signal to shape the reward. A separate dual-like multiplier adjusts the shaping strength according to realized episodic costs relative to a prescribed budget. The diffusion actor improves through weighted denoising regression on candidate actions scored by the reward critic. Our approach requires neither a learned dynamics model, action gradients through the critics, nor differentiation through the reverse diffusion sampler. We establish theoretical properties of the reachability value and show that accumulated reachability penalty provides a conservative surrogate for future discounted cumulative cost. Across ten continuous-control safety tasks, RADPO achieves competitive reward-cost trade-offs, with substantial reductions in constraint violations on several tasks relative to the compared baselines. Our theoretical and empirical analysis supports that combining reachability with cumulative budget feedback is a viable approach to safety-aware diffusion policies.
• Abstract（参考訳）: 拡散ポリシは、継続的制御強化学習のための表現力のある行動分布を提供する。 しかし、安全性に配慮したオンライン拡散ポリシーの最適化は、特に明示的なダイナミックスモデルを使わずに、予測可能な到達可能性情報を使用する手法が未検討のままである。 本稿では,予測的ファーストヒート安全性推定と累積コストの予算フィードバックを組み合わせたモデルフリー手法であるReachability-Aware Diffusion Policy Optimization (RADPO)を提案する。 RADPOは、コストイベントの割引リスクを捉え、より早く発生するイベントにより大きな重みを割り当て、この信号を使用して報酬を形成するディスカウントファーストヒット到達可能性値を学ぶ。 別個の双対型乗算器は、所定の予算に対して実現されたエピソードコストに応じて成形強度を調整する。 拡散アクタは、報酬批評家が採った候補行動の重み付け復調により改善する。 我々のアプローチは、学習された力学モデル、批評家による行動勾配、逆拡散サンプリング器による微分を必要としない。 我々は、到達可能性値の理論的性質を確立し、累積到達性ペナルティが将来の割引累積コストの保守的サロゲートを提供することを示す。 10回の連続制御安全タスクにおいて、RADPOは、比較ベースラインに対するいくつかのタスクに対する制約違反を大幅に減らし、競争的な報酬コストトレードオフを達成する。 我々の理論的かつ実証的な分析は、累積的な予算フィードバックと到達可能性を組み合わせることは、安全に配慮した拡散政策への実行可能なアプローチであると考えている。

関連論文リスト

• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Robust Peak-cost Constrained Reinforcement Learning [10.897248153175935]
  我々は、堅牢なピークコスト制約強化学習(RP-CRL)について検討する。 目的は、軌道に沿って発生する最大コストを制御しながら、期待される報酬を最大化することである。 標準CMDPとは異なり、ピークコストの制約されたMDPはゼロ双対性ギャップを認めない可能性がある。
  論文  参考訳（メタデータ） (2026-07-16T21:00:50Z)
• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• Safe RLHF Beyond Expectation: Stochastic Dominance for Universal Spectral Risk Control [12.053369001333058]
  本稿では,予測コスト制約をFSD(First-Order Dominance)制約に置き換える,リスクに敏感なアライメントフレームワークを提案する。 RADは, 有効性を保ちながら, ベースラインよりも無害性を向上し, アウト・オブ・ディストリビューション評価においてより堅牢性を示す。
  論文  参考訳（メタデータ） (2026-03-11T16:24:20Z)
• Off-Policy Primal-Dual Safe Reinforcement Learning [16.918188277722503]
  本研究では, 累積コスト推定における誤差が, 法外手法を用いた場合のコストの大幅な過小評価を引き起こすことを示す。 本稿では,予測の不確実性を考慮し,制約充足領域の政策を学習する保守的な政策最適化を提案する。 次に,評価の不確実性を徐々に減少させることにより,そのような過小評価の解消を支援するために,局所的な政策凸化を導入する。
  論文  参考訳（メタデータ） (2024-01-26T10:33:38Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• A Risk-Sensitive Approach to Policy Optimization [21.684251937825234]
  標準深層強化学習(DRL)は、政策の定式化における収集経験を均等に考慮し、期待される報酬を最大化することを目的としている。 そこで本研究では,フルエピソード報酬の分布の累積分布関数 (CDF) で規定されるリスク感性目標を最適化する,より直接的なアプローチを提案する。 エージェントの動作が不十分なシナリオを強調する中程度の「悲観的」リスクプロファイルの使用が,探索の強化と,障害への継続的な対処に繋がることを示す。
  論文  参考訳（メタデータ） (2022-08-19T00:55:05Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Off-policy Reinforcement Learning with Optimistic Exploration and Distribution Correction [73.77593805292194]
  我々は、政治以外のアクター批判的枠組みにおいて、批評家のほぼ上位信頼度を最大化するために、別の調査政策を訓練する。 最近導入されたDICEフレームワークを応用して、非政治アクター犯罪訓練のための分布補正比を学習する。
  論文  参考訳（メタデータ） (2021-10-22T22:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。