論文の概要: RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance
- arxiv url: http://arxiv.org/abs/2606.27766v1
- Date: Fri, 26 Jun 2026 06:51:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.398193
- Title: RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance
- Title（参考訳）: RS-ディフューザ:分散価値誘導によるリスク感性拡散計画
- Abstract要約: オフライン強化学習は、追加の環境相互作用なしに、固定データセットからポリシー学習を可能にする。
本稿では,拡散に基づく軌道生成と分布値批判を組み合わせ,リスクに敏感なオフライン拡散計画フレームワークRS-Diffuserを提案する。
リスクに敏感なD4RLと危険なロボットナビゲーションベンチマークの実験は、RS-Diffuserが最先端のパフォーマンスを達成することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Offline reinforcement learning enables policy learning from fixed datasets without additional environment interaction, making it appealing for safety-critical applications where online exploration is costly or unsafe. Diffusion-based decision-making methods have recently achieved strong performance in offline RL by modeling rich, multimodal trajectory distributions. However, existing diffusion planners are typically risk-neutral and therefore may overlook rare but catastrophic outcomes that are crucial in real-world deployment. In this work, we propose RS-Diffuser, a risk-sensitive offline diffusion planning framework that combines diffusion-based trajectory generation with distributional value critics. RS-Diffuser learns a diffusion planner over future state trajectories, a separate inverse dynamics model for action decoding, and a Monte Carlo distributional critic that estimates the full return distribution of candidate plans through quantile regression. At sampling time, we incorporate a risk-sensitive guidance signal into the denoising process, using gradients computed from tail-aware objectives such as Conditional Value at Risk to steer generation toward desired risk profiles. As a result, a single trained model can flexibly produce risk-averse, risk-neutral, or risk-seeking behaviors by changing only the inference-time risk parameter. Extensive experiments on risk-sensitive D4RL and risky robot navigation benchmarks demonstrate that RS-Diffuser achieves state-of-the-art performance, improving both overall return and worst-case robustness while reducing safety violations.
- Abstract（参考訳）: オフライン強化学習は、追加の環境相互作用なしに、固定データセットからポリシー学習を可能にする。
拡散に基づく意思決定手法は, リッチなマルチモーダル軌道分布をモデル化することにより, オフラインRLにおいて高い性能を実現している。
しかし、既存の拡散プランナーは一般的にリスクニュートラルであるため、現実の展開において重要な滅多にないが破滅的な結果を見落としている可能性がある。
本研究では,拡散に基づく軌道生成と分布値批判を組み合わせ,リスクに敏感なオフライン拡散計画フレームワークRS-Diffuserを提案する。
RS-Diffuserは、将来の状態軌道上の拡散プランナー、アクション復号のための別個の逆ダイナミクスモデル、および量子レグレッションによって候補計画の完全な戻り分布を推定するモンテカルロ分布批評家を学ぶ。
サンプリング時には,リスクに対する条件値などのテール認識目標から算出した勾配を,所望のリスクプロファイルに向け,リスクに敏感な誘導信号が組み込まれている。
結果として、単一の訓練されたモデルは、推論時間リスクパラメータだけを変化させることで、柔軟にリスク逆、リスク中立、またはリスク探究行動を生成することができる。
リスクに敏感なD4RLと危険なロボットナビゲーションベンチマークに関する大規模な実験は、RS-Diffuserが最先端のパフォーマンスを達成し、全体的なリターンと最悪のロバスト性を向上し、安全違反を減らすことを実証している。
関連論文リスト
- Adversarially Robust Control of Conditional Value-at-Risk via Rockafellar-Uryasev Conformal Inference [15.255874441202872]
CVaR(Conditional Value-at-Risk)を制御するオンライン分散フリーフレームワークを提案する。
古典的リスク制御法とは異なり、この手法は任意のデータ生成プロセス下で機能する非線形テールリスクに対して証明可能な安全保証を提供する。
論文 参考訳（メタデータ） (2026-05-29T19:52:36Z) - RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。
リスク概念空間を再構築する理論的枠組みを導入する。
マルチエージェント協調評価フレームワークRADARを提案する。
論文 参考訳（メタデータ） (2025-09-28T09:35:32Z) - Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction [55.77015419028725]
しきい値とトレードオフパラメータが適応的に選択された場合、リスクの有効な制御を可能にする手法を開発する。
提案手法は単調なリスクとほぼ単調なリスクをサポートするが,それ以外は分布的な仮定はしない。
論文 参考訳（メタデータ） (2024-03-28T17:28:06Z) - Diffusion Policies for Risk-Averse Behavior Modeling in Offline Reinforcement Learning [26.34178581703107]
オフライン強化学習(RL)は、観測データのみに依存するため、異なる課題を提示する。
本研究では,不確実性と環境の両面に同時に対処する不確実性を考慮したオフラインRL法を提案する。
本手法は,リスク感受性ベンチマークとリスクニュートラルベンチマークの両方で総合評価を行い,その優れた性能を実証した。
論文 参考訳（メタデータ） (2024-03-26T12:28:04Z) - Provable Risk-Sensitive Distributional Reinforcement Learning with
General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。
モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-02-28T08:43:18Z) - Extreme Risk Mitigation in Reinforcement Learning using Extreme Value
Theory [10.288413564829579]
リスク認識の重要な側面は、破滅的な結果をもたらす可能性のある非常に稀なリスクイベント(リワード)をモデル化することである。
リスクを意識したRL手法は存在するが、リスク回避のレベルは状態-作用値関数の推定の精度に大きく依存している。
本研究では、状態-作用値関数分布によって予測される極端な値の予測を精査することに着目し、非常に稀で危険な事象に直面した場合のRLエージェントのレジリエンスを高めることを提案する。
論文 参考訳（メタデータ） (2023-08-24T18:23:59Z) - Is Risk-Sensitive Reinforcement Learning Properly Resolved? [54.00107408956307]
本稿では,RSRL問題に対するポリシー改善のための新しいアルゴリズムであるトラジェクトリQ-Learning(TQL)を提案する。
新たな学習アーキテクチャに基づいて,さまざまなリスク対応政策を学習するための,さまざまなリスク対策の汎用的かつ実践的な実装を自由に導入できる。
論文 参考訳（メタデータ） (2023-07-02T11:47:21Z) - Policy Evaluation in Distributional LQR [70.63903506291383]
ランダムリターンの分布を閉形式で表現する。
この分布は有限個の確率変数で近似できることを示す。
近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-23T20:27:40Z) - One Risk to Rule Them All: A Risk-Sensitive Perspective on Model-Based
Offline Reinforcement Learning [25.218430053391884]
両問題に共同で対処するためのメカニズムとしてリスク感受性を提案する。
相対的不確実性へのリスク回避は、環境に悪影響を及ぼす可能性のある行動を妨げる。
実験の結果,提案アルゴリズムは決定論的ベンチマーク上での競合性能を実現することがわかった。
論文 参考訳（メタデータ） (2022-11-30T21:24:11Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳（メタデータ） (2022-05-10T19:40:52Z) - Automatic Risk Adaptation in Distributional Reinforcement Learning [26.113528145137497]
実践的応用における強化学習(RL)エージェントの使用は、最適以下の結果を考慮する必要がある。
これは特に安全クリティカルな環境において重要であり、エラーは高いコストや損害をもたらす可能性がある。
リスク認識エージェントとリスク認識エージェントの両方と比較して, 失敗率を最大7倍に低下させ, 一般化性能を最大14%向上させた。
論文 参考訳（メタデータ） (2021-06-11T11:31:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。