論文の概要: A decoupled diffusion planner that adapts to changing cost limits by using cost-conditioned generation for safety and reward gradients for performance

• arxiv url: http://arxiv.org/abs/2605.02777v1
• Date: Mon, 04 May 2026 16:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.403623
• Title: A decoupled diffusion planner that adapts to changing cost limits by using cost-conditioned generation for safety and reward gradients for performance
• Title（参考訳）: コスト条件付き生成によるコスト制限の変化に対応する分散拡散プランナの安全性向上と性能向上のための報酬勾配
• Abstract要約: 我々は、報酬改善と制約満足度を競合する勾配目標として扱う安全な軌道生成ポリシーを開発する。 本政策は,タスクの94.7%の制約を満たすとともに,基準ライン間の最強の安全コンプライアンスを実現していることを示す。 また,Fasible Trajectory Relabelingは,プレフィックス再生アライメント条件下での報酬誘導コストドリフトを抑制することを示す。
• 参考スコア（独自算出の注目度）: 17.817368889471563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline safe reinforcement learning often requires policies to adapt at deployment time to safety budgets that vary across episodes or change within a single episode. While diffusion-based planners enable flexible trajectory generation, existing guidance schemes often treat reward improvement and constraint satisfaction as competing gradient objectives, which can lead to unreliable safety compliance under cost limits. We reinterpret adaptive safe trajectory generation as sampling from a constrained trajectory distribution, where the budget restricts the trajectory region, and reward shapes preferences within that region. This perspective motivates Safe Decoupled Guidance Diffusion (SDGD), which conditions classifier-free guidance on the cost limit to bias sampling toward trajectories satisfying the specified limit, while using reward-gradient guidance to refine trajectories for higher return. Because direct reward guidance can increase return while also steering samples toward trajectories with higher cumulative cost, we introduce Feasible Trajectory Relabeling (FTR) to reshape reward targets and discourage such directions. We further provide a first-order sampling-time analysis showing that FTR suppresses reward-induced cost drift under a prefix-restorative alignment condition. Extensive evaluations on the DSRL benchmark show that SDGD achieves the strongest safety compliance among baselines, satisfying the constraint on 94.7% of tasks (36/38), while obtaining the highest reward among safe methods on 21 tasks.
• Abstract（参考訳）: オフラインの安全強化学習は、エピソードによって異なる、または1回で変化する安全予算にデプロイ時に適応するポリシーを必要とすることが多い。 拡散型プランナーはフレキシブルな軌道生成を可能にするが、既存のガイダンススキームは報酬改善と制約満足度を競合する勾配目標として扱うことが多く、コスト制限下での信頼性の低い安全コンプライアンスにつながる。 我々は、制約された軌道分布から標本として適応型安全な軌道生成を解釈し、予算が軌道領域を制限し、その領域内での報酬の形状を選好する。 この視点は、特定の制限を満たす軌跡に対する偏差サンプリングに対するコスト制限に関する分類器のないガイダンスを規定するSDGD(Safe Decoupled Guidance Diffusion)を、より高いリターンのために軌跡を洗練させるために報酬段階のガイダンスを用いて動機付けする。 また, 直接報酬誘導は, 高累積コストのトラジェクトリに対してサンプルを操りながらリターンを増大させることができるため, 報酬目標を再形成し, その方向を遅らせるために, FTR(Feasible Trajectory Relabeling)を導入する。 さらに,FTRがプレフィックス復元アライメント条件下での報酬誘導コストドリフトを抑制することを示す1次サンプリング時間解析を行った。 DSRLベンチマークの大規模な評価によると、SDGDはベースライン間で最強の安全コンプライアンスを達成し、94.7%のタスク(36/38)の制約を満たす一方で、21タスクの安全なメソッドの中で最高の報酬を得る。

関連論文リスト

• Learning Adaptive Safety Margins for Visual Navigation [10.650323979444982]
  拡散に基づくプランナーは、エゴセントリックなRGB-Dから様々な軌道候補を提案するが、信頼性のある選択がボトルネックのままである。 本稿では,文脈条件付き安全評論家に対して,ランキング拡散提案に対する適応的クリアランス選好を学習する手法を提案する。 本研究では,ESDF 幾何学をシミュレーションで訓練し,それを2段階の教師学生の指導により,認識のみのセレクタに蒸留する。
  論文  参考訳（メタデータ） (2026-07-20T17:40:25Z)
• Robust Peak-cost Constrained Reinforcement Learning [10.897248153175935]
  我々は、堅牢なピークコスト制約強化学習(RP-CRL)について検討する。 目的は、軌道に沿って発生する最大コストを制御しながら、期待される報酬を最大化することである。 標準CMDPとは異なり、ピークコストの制約されたMDPはゼロ双対性ギャップを認めない可能性がある。
  論文  参考訳（メタデータ） (2026-07-16T21:00:50Z)
• FlowR2A: Learning Reward-to-Action Distribution for Multimodal Driving Planning [63.80677039120727]
  FlowR2Aは、スコアリングに基づく手法の厳密な監督と、単一の生成モデルによるアンカーベースの手法の提案を統一する。 ソフトプログレッシブ目標に対するハードセーフティ制約のバランスをとるために, 微粒度毎の報奨条件と報奨雑音の増大を導入する。 生成形式は、報酬誘導と固定サンプリングによる制御可能なテスト時間サンプリングをサポートし、高品質な提案を生成する。
  論文  参考訳（メタデータ） (2026-06-23T07:21:36Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
  本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。 我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
  論文  参考訳（メタデータ） (2026-02-12T03:31:19Z)
• DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
  DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。 エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。 DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
  論文  参考訳（メタデータ） (2026-02-11T07:45:14Z)
• Conditional Sequence Modeling for Safe Reinforcement Learning [8.858563919623082]
  オフライン安全な強化学習は、固定データセットからポリシーを学習し、累積コスト制約下でのパフォーマンスを最大化することを目的としている。 既存のオフラインセーフなRLメソッドの多くは、あらかじめ指定されたしきい値の下で訓練されている。 CSMをベースとしたRCDTは,複数のコストしきい値にまたがるゼロショット展開をサポートする。
  論文  参考訳（メタデータ） (2026-02-09T12:22:57Z)
• GAS: Enhancing Reward-Cost Balance of Generative Model-assisted Offline Safe RL [21.30558932544297]
  Online Safe Reinforcement Learning (OSRL) は、制約を満たしつつ意思決定における高いパフォーマンスを達成するための政策を学ぶことを目的としている。 生成モデル(GM)の強い能力に触発された最近の研究は、条件付き生成プロセスとしてOSRLにおける意思決定を再構成している。 本稿では,報酬と制約満足度を効果的にバランスしながら縫合能力を向上するアルゴリズムであるGal-Assisted Stitching (GAS)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T05:44:48Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• Anchoring Refusal Direction: Mitigating Safety Risks in Tuning via Projection Constraint [52.878820730054365]
  インストラクションファインチューニング(IFT)は,大規模言語モデル(LLM)の能力向上のための効果的なポストトレーニング戦略として広く採用されている。 LLMの内部機構に関する最近の研究は、隠蔽状態における拒絶方向(r方向)を同定し、拒絶行動の制御において重要な役割を担っている。 このようなドリフトを緩和するため,提案手法では,各トレーニングサンプルの隠れ状態のr方向への投射の大きさを規則化する投射制約損失項を導入する。
  論文  参考訳（メタデータ） (2025-09-08T15:24:33Z)
• Offline Safe Reinforcement Learning Using Trajectory Classification [21.956407710821416]
  我々は、望ましい軌跡を生成し、望ましくない軌跡を避ける政策を学ぶ。 オフライン安全なRLのためのDSRLベンチマークを用いて,本手法を広範囲に評価した。
  論文  参考訳（メタデータ） (2024-12-19T22:29:03Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• A Risk-Sensitive Approach to Policy Optimization [21.684251937825234]
  標準深層強化学習(DRL)は、政策の定式化における収集経験を均等に考慮し、期待される報酬を最大化することを目的としている。 そこで本研究では,フルエピソード報酬の分布の累積分布関数 (CDF) で規定されるリスク感性目標を最適化する,より直接的なアプローチを提案する。 エージェントの動作が不十分なシナリオを強調する中程度の「悲観的」リスクプロファイルの使用が,探索の強化と,障害への継続的な対処に繋がることを示す。
  論文  参考訳（メタデータ） (2022-08-19T00:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。