論文の概要: CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.03903v1
• Date: Sat, 04 Jul 2026 14:57:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.748994
• Title: CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning
• Title（参考訳）: CDCP:マルチタスクオフライン型安全強化学習のための文脈プロンプト付き条件拡散モデル
• Abstract要約: マルチタスクのオフライン安全な強化学習(RL)は、複数のタスクにわたるオフラインデータから、共有された最適な安全なポリシを学ぶことを約束する。 しかし、マルチタスク、安全制約、アウト・オブ・ディストリビューションの3つの課題は、既存の手法にとって大きなハードルとなっている。 本稿では,これらの課題に対処する条件付き拡散モデルを提案する。
• 参考スコア（独自算出の注目度）: 63.5739698095413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task offline safe reinforcement learning (RL) promises to learn a shared optimal safe policy from offline data across multiple tasks. This paradigm provides an effective means for the widespread application of RL in multi-task scenarios with high risk and interaction costs. However, the triple challenges of multi-tasking, safety constraints, and out-of-distribution (OOD) actions pose a significant hurdle for existing methods to ensure safety while maximizing reward returns. In this work, we propose a Conditional Diffusion model with Contextual Prompts (CDCP) to address these challenges. Concretely, we first rethink the requirements and challenges in current multi-task decision-making and control scenarios and establish the objectives of multi-task offline safe RL. Subsequently, we transform the multi-task constrained optimization problem into a conditional generation problem using the diffusion model. Based on this, we design a classifier-free guided cost-constraint strategy to provide flexible cost constraints and eliminate extrapolation errors from OOD actions via supervised learning. Additionally, we introduce a novel contextual prompting method to enhance multi-task representation accuracy and adaptability to unseen tasks. A gradient loss synchronization strategy is also introduced to eliminate gradient interference, improving training stability. Finally, extensive experiments demonstrate that the CDCP algorithm exhibits higher performance and safety in multi-task scenarios than the current state-of-the-art baseline methods. It meets different cost constraints without further training, providing a more flexible cost-constraint solution for the multi-task safe RL.
• Abstract（参考訳）: マルチタスクのオフライン安全な強化学習(RL)は、複数のタスクにわたるオフラインデータから、共有された最適な安全なポリシを学ぶことを約束する。 このパラダイムは、リスクと相互作用コストの高いマルチタスクシナリオにおいて、RLを広く適用するための効果的な手段を提供する。 しかし、マルチタスク、安全制約、アウト・オブ・ディストリビューション(OOD)の3つの課題は、報酬リターンを最大化しつつ安全性を確保する既存の方法にとって大きなハードルとなる。 本研究では,これらの課題に対処する条件付き拡散モデル(CDCP)を提案する。 具体的には、まず、現在のマルチタスク意思決定および制御シナリオにおける要件と課題を再考し、マルチタスクオフライン安全なRLの目的を確立する。 その後,マルチタスク制約付き最適化問題を拡散モデルを用いて条件付き生成問題に変換する。 そこで我々は,柔軟なコスト制約を提供し,教師あり学習によるOOD行動から外挿誤差を除去するための,分類器不要なコスト制約戦略を設計する。 さらに,マルチタスク表現の精度と未確認タスクへの適応性を向上する新しいコンテキストプロンプト手法を提案する。 勾配損失同期戦略も導入され、勾配干渉を排除し、訓練安定性を向上させる。 最後に、CDCPアルゴリズムは、現在の最先端のベースライン手法よりも、マルチタスクシナリオにおいて高い性能と安全性を示すことを示した。 さらなるトレーニングなしに異なるコスト制約を満たすため、マルチタスクセーフなRLに対してより柔軟なコスト制約ソリューションを提供する。

関連論文リスト

• Efficient Multimodal Planning Agent for Visual Question-Answering [67.26245301307539]
  本稿では,MRAGパイプラインを動的に分解してVQAタスクを解くマルチモーダル計画エージェントを訓練する手法を提案する。 本実験では, 従来の手法に比べて探索時間を60%以上削減し, 余剰計算の削減に役立てることができた。
  論文  参考訳（メタデータ） (2026-01-28T14:58:59Z)
• From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
  疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。 モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。 タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
  論文  参考訳（メタデータ） (2026-01-28T09:29:40Z)
• Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners [60.75160178669076]
  オンライン強化学習におけるタスク干渉の問題に対して,クロスエントロピーを用いて訓練し,学習可能なタスク埋め込みを条件とした高容量値モデルの使用が課題であることを示す。 280以上のユニークなタスクを持つ7つのマルチタスクベンチマークで、高い自由度ヒューマノイド制御と離散視覚ベースのRLにまたがるアプローチを検証した。
  論文  参考訳（メタデータ） (2025-05-29T06:41:45Z)
• Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning [26.244121960815907]
  本稿では,多目的学習と制約順守の政策最適化を協調するプライマリベースフレームワークを提案する。 提案手法は,複数のRL目標を最適化するために,新しい自然ポリシー勾配演算法を用いる。 また,提案手法は,安全性の高い多目的強化学習タスクにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:42:10Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• Gradient Shaping for Multi-Constraint Safe Reinforcement Learning [31.297400160104853]
  オンライン安全強化学習(RL)は、環境との対話を通じて制約を満たしながらタスク効率を最大化する政策を訓練する。 本稿では,MCセーフなRLアルゴリズムのための統一フレームワークを提案する。 一般ラグランジアンベースの安全なRLアルゴリズムのためのグラディエント・シェーピング(GradS)法を導入し、報酬と制約満足度の両方の観点からトレーニング効率を向上させる。
  論文  参考訳（メタデータ） (2023-12-23T00:55:09Z)
• Constrained Decision Transformer for Offline Safe Reinforcement Learning [16.485325576173427]
  我々は、新しい多目的最適化の観点から、オフラインセーフなRL問題を考察する。 本稿では,デプロイメント中のトレードオフを動的に調整可能な制約付き決定変換器(CDT)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-14T21:27:10Z)
• Robust Policy Learning over Multiple Uncertainty Sets [91.67120465453179]
  強化学習(RL)エージェントは、安全クリティカルな環境の変動に対して堅牢である必要がある。 システム識別とロバストRLの両方の利点を享受するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-02-14T20:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。