論文の概要: CORMA: Constraint-Routed Decision Mamba for Generalizable Multi-Constraint Offline Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.34208v1
• Date: Sun, 25 Oct 2026 10:54:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.558527
• Title: CORMA: Constraint-Routed Decision Mamba for Generalizable Multi-Constraint Offline Safe Reinforcement Learning
• Title（参考訳）: CORMA: 汎用マルチ制約オフライン型安全強化学習のための制約付き決定マンバ
• Abstract要約: CORMAは、一般化可能なマルチ制約オフライン安全なRLのための制約付き決定Mambaフレームワークである。 Mambaは効率的なシーケンスモデリングバックボーンとして登場し、線形計算複雑性と強力な一般化機能を提供する。
• 参考スコア（独自算出の注目度）: 22.223316500647528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline safe reinforcement learning (RL) learns safety-aware policies from static datasets while satisfying safety constraints during deployment. Motivated by the strong trajectorymodeling capabilities of Transformers, recent Decision Transformer (DT)-based methods formulate offline safe RL as conditional sequence modeling by conditioning action generation on return-to-go (RTG) and cost-to-go (CTG) tokens, thereby enabling adaptation to varying safety budgets. However, existing DT-based methods are developed for single-constraint tasks. For tasks with multiple constraints, generalizing learned policies to unseen combinations of safety budgets remains challenging due to the conflicting requirements imposed by heterogeneous constraints. Moreover, the quadratic complexity of Transformer architectures significantly increases the computational overhead in multi-constraint tasks, as representing additional constraints requires more CTG tokens. Recently, Mamba has emerged as an efficient sequence-modeling backbone, offering linear computational complexity and strong generalization capabilities. In this paper, we propose CORMA, a constraint-routed decision Mamba framework for generalizable multi-constraint offline safe RL. CORMA decomposes policy inference into constraint-aware RTG estimation and adaptive action generation, where constraint-specific experts model feasible RTG distributions and a router-guided product-of-experts mechanism fuses these distributions to provide safety-aware guidance for a Mamba-based action decoder. A three-stage optimization strategy is designed to improve training stability. Extensive experiments on OSRL benchmarks demonstrate that CORMA achieves superior reward-safety trade-offs, reduces inference latency by 37% compared with DT-based methods, and exhibits stronger zero-shot generalization to unseen safety-budget combinations than offline safe RL baselines.
• Abstract（参考訳）: オフライン安全強化学習(RL)は、デプロイ中の安全制約を満たしながら、静的データセットから安全対応ポリシーを学習する。 近年のDecision Transformer (DT) に基づく手法は,RTGおよびCTGトークン上での条件付き動作生成により,オフラインセーフなRLを条件付きシーケンスモデルとして定式化する。 しかし、既存のDTベースの手法は単一制約タスクのために開発されている。 複数の制約のあるタスクでは、不均一な制約によって課される矛盾する要求のために、安全予算の組合せを見ないための学習されたポリシーを一般化することは依然として困難である。 さらに、Transformerアーキテクチャの2次複雑さは、より多くのCTGトークンを必要とするため、マルチ制約タスクの計算オーバーヘッドを大幅に増加させる。 最近、Mambaは効率的なシーケンスモデリングバックボーンとして登場し、線形計算複雑性と強力な一般化機能を提供している。 本稿では、マルチ制約のオフライン安全RLを一般化するための制約付き決定MambaフレームワークであるCORMAを提案する。 CORMAは、ポリシー推論を制約対応RTG推定と適応アクション生成に分解し、制約特化の専門家が実行可能なRTG分布をモデル化し、ルータ誘導の製品設計機構がこれらの分布を融合させ、マンバベースのアクションデコーダの安全対応ガイダンスを提供する。 3段階最適化戦略は、トレーニングの安定性を改善するために設計されている。 OSRLベンチマークの大規模な実験は、CORMAが優れた報酬-安全トレードオフを達成し、DTベースの手法と比較して推論遅延を37%削減し、オフライン安全なRLベースラインよりも、見当たらない安全-予算の組み合わせに対してより強力なゼロショット一般化を示すことを示した。

関連論文リスト

• Q-learning Penalized Transformer for Safe Offline Reinforcement Learning [59.26714065630563]
  本稿では、オフラインデータセットを用いた安全制約を満たすためのポリシーのトレーニングを含む、安全なオフライン強化学習の問題に対処する。 本稿では,制約認識値推定による条件付きシーケンスモデリングを橋渡しする,訓練・推論一貫したフレームワークであるQ-learning Penalized Transformer Policy (QPT)を提案する。 本稿では,Q-penalized conditional generation がいかに安全性と性能を向上するかを特徴付ける,スタイリングされた近決定性CMDPの原理解析を行う。
  論文  参考訳（メタデータ） (2026-09-28T06:43:22Z)
• CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning [63.5739698095413]
  マルチタスクのオフライン安全な強化学習(RL)は、複数のタスクにわたるオフラインデータから、共有された最適な安全なポリシを学ぶことを約束する。 しかし、マルチタスク、安全制約、アウト・オブ・ディストリビューションの3つの課題は、既存の手法にとって大きなハードルとなっている。 本稿では,これらの課題に対処する条件付き拡散モデルを提案する。
  論文  参考訳（メタデータ） (2026-07-04T14:57:35Z)
• BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
  BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。 BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-23T18:19:46Z)
• Conditional Sequence Modeling for Safe Reinforcement Learning [8.858563919623082]
  オフライン安全な強化学習は、固定データセットからポリシーを学習し、累積コスト制約下でのパフォーマンスを最大化することを目的としている。 既存のオフラインセーフなRLメソッドの多くは、あらかじめ指定されたしきい値の下で訓練されている。 CSMをベースとしたRCDTは,複数のコストしきい値にまたがるゼロショット展開をサポートする。
  論文  参考訳（メタデータ） (2026-02-09T12:22:57Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• Safety-Aware Reinforcement Learning for Control via Risk-Sensitive Action-Value Iteration and Quantile Regression [2.592761128203891]
  量子ベースのアクションバリュー反復法は、期待されるコスト対ゴーの分布を学習することで、このバイアスを低減する。 既存の手法では、コスト関数の組み合わせによる複雑なニューラルネットワークアーキテクチャや手動のトレードオフが必要になることが多い。 本研究では、複雑なアーキテクチャを使わずに安全性を確保するために、条件付き値-アット・リスクを組み込んだリスク正規化量子化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-08T00:22:00Z)
• Constrained Decision Transformer for Offline Safe Reinforcement Learning [16.485325576173427]
  我々は、新しい多目的最適化の観点から、オフラインセーフなRL問題を考察する。 本稿では,デプロイメント中のトレードオフを動的に調整可能な制約付き決定変換器(CDT)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-14T21:27:10Z)
• Model-based Safe Reinforcement Learning using Generalized Control Barrier Function [6.556257209888797]
  本稿では,制約付きRLのモデルに基づく実現性向上手法を提案する。 モデル情報を使用することで、実際の安全制約に違反することなく、ポリシーを安全に最適化することができる。 提案手法は最大4倍の制約違反を達成し、ベースライン制約RLアプローチよりも3.36倍の速度で収束する。
  論文  参考訳（メタデータ） (2021-03-02T08:17:38Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。