論文の概要: Q-learning Penalized Transformer for Safe Offline Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.34426v2
- Date: Tue, 29 Sep 2026 05:34:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.737685
- Title: Q-learning Penalized Transformer for Safe Offline Reinforcement Learning
- Title（参考訳）: 安全オフライン強化学習のためのQ-learning Penalized Transformer
- Abstract要約: 本稿では、オフラインデータセットを用いた安全制約を満たすためのポリシーのトレーニングを含む、安全なオフライン強化学習の問題に対処する。
本稿では,制約認識値推定による条件付きシーケンスモデリングを橋渡しする,訓練・推論一貫したフレームワークであるQ-learning Penalized Transformer Policy (QPT)を提案する。
本稿では,Q-penalized conditional generation がいかに安全性と性能を向上するかを特徴付ける,スタイリングされた近決定性CMDPの原理解析を行う。
- 参考スコア（独自算出の注目度）: 59.26714065630563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of safe offline reinforcement learning, which involves training a policy to satisfy safety constraints using an offline dataset. This problem is inherently challenging as it requires balancing three highly interconnected and competing objectives: satisfying safety constraints, maximizing rewards, and adhering to the behavior regularization imposed by the offline dataset. To tackle this trilogy challenge, we propose Q-learning Penalized Transformer policy (QPT), a \emph{training--inference consistent} framework that bridges conditional sequence modeling with constraint-aware value estimation. QPT trains a Transformer policy that generates actions conditioned on trajectory context and target return/cost, retaining strong behavior regularization. To inject explicit safety semantics during learning, we augment sequence-model training with a Q-shaped penalty using learned reward and cost Q-functions to favor high return under low constraint violation. At inference, the same Q-functions enforce the cost threshold and choose the highest-reward feasible action, closing the loop between training and deployment. We provide a principled analysis under stylized near-deterministic CMDPs, characterizing how Q-penalized conditional generation improve safety and performance. Empirically, QPT consistently outperforms strong safe offline RL baselines across 38 tasks on the DSRL benchmark, and exhibits robust zero-shot adaptation to different constraint thresholds.
- Abstract（参考訳）: 本稿では、オフラインデータセットを用いた安全制約を満たすためのポリシーのトレーニングを含む、安全なオフライン強化学習の問題に対処する。
この問題は、安全性の制約を満たすこと、報酬を最大化すること、オフラインデータセットによって課される行動規則化に固執すること、という、高度に相互接続された競合する3つの目標のバランスを必要とするため、本質的に難しい。
この三部作の課題に対処するために,制約認識値推定による条件付きシーケンスモデリングをブリッジする,emph{training-inference consistent}フレームワークであるQ-learning Penalized Transformer Policy (QPT)を提案する。
QPTはトランスフォーマーポリシーをトレーニングし、トラジェクティブコンテキストとターゲットのリターン/コストで条件付きアクションを生成し、強力な振舞い正規化を保持する。
学習中に明示的な安全性意味論を注入するために、学習報酬とコストQ関数を用いてQ字型ペナルティを用いたシーケンスモデルトレーニングを増強し、低制約違反下で高いリターンを期待する。
推論では、同じQ-関数がコスト閾値を強制し、最も高いリワード可能なアクションを選択し、トレーニングとデプロイメントの間のループを閉じます。
本稿では,Q-penalized conditional generation がいかに安全性と性能を向上するかを特徴付ける,スタイリングされた近決定性CMDPの原理解析を行う。
実証的には、QPTはDSRLベンチマークにおいて38のタスクで強い安全なオフラインRLベースラインを一貫して上回り、異なる制約しきい値に対する堅牢なゼロショット適応を示す。
関連論文リスト
- Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。
B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。
実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
論文 参考訳（メタデータ） (2025-09-30T03:38:20Z) - ACL-QL: Adaptive Conservative Level in Q-Learning for Offline Reinforcement Learning [46.67828766038463]
本稿では,Q-Learning(ACL-QL)における適応保守レベル(Adaptive Conservative Level in Q-Learning, ACL-QL)を提案する。
ACL-QLは、各状態-作用ペアに対する保守的なレベルの適応的な制御を可能にする。
理論解析により,2つの学習可能な適応重み関数を用いて各遷移の保守レベルを制御する新しいアルゴリズム ACL-QL を提案する。
論文 参考訳（メタデータ） (2024-12-22T04:18:02Z) - FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning [7.888219789657414]
安全なオフライン強化学習は、安全性の制約を守りながら累積報酬を最大化するポリシーを学ぶことを目的としている。
主な課題は安全性とパフォーマンスのバランスであり、特に政策がアウト・オブ・ディストリビューション状態や行動に直面する場合である。
本稿では,マルコフ決定過程における持続的安全性を優先するFAWAC(Feasibility Informed Advantage Weighted Actor-Critic)を提案する。
論文 参考訳（メタデータ） (2024-12-12T02:28:50Z) - Offline Reinforcement Learning with On-Policy Q-Function Regularization [57.09073809901382]
ヒストリーデータセットと所望のポリシー間の分布シフトによって引き起こされる(潜在的に破滅的な)外挿誤差に対処する。
正規化により推定Q-関数を利用する2つのアルゴリズムを提案し、D4RLベンチマークに強い性能を示すことを示す。
論文 参考訳（メタデータ） (2023-07-25T21:38:08Z) - Constrained Decision Transformer for Offline Safe Reinforcement Learning [16.485325576173427]
我々は、新しい多目的最適化の観点から、オフラインセーフなRL問題を考察する。
本稿では,デプロイメント中のトレードオフを動的に調整可能な制約付き決定変換器(CDT)アプローチを提案する。
論文 参考訳（メタデータ） (2023-02-14T21:27:10Z) - SaFormer: A Conditional Sequence Modeling Approach to Offline Safe
Reinforcement Learning [64.33956692265419]
オフラインセーフなRLは、現実世界のアプリケーションにエージェントをデプロイする上で、非常に実用的な関連性を持っています。
そこで我々は,SaFormerと呼ばれる新しいオフラインセーフなRLアプローチを提案する。
論文 参考訳（メタデータ） (2023-01-28T13:57:01Z) - Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。
本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。
この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
論文 参考訳（メタデータ） (2021-10-12T17:05:05Z) - Conservative Q-Learning for Offline Reinforcement Learning [106.05582605650932]
CQLは既存のオフラインRLメソッドよりも大幅に優れており、多くの場合、ファイナルリターンの2～5倍高いポリシを学習しています。
理論的には、CQLは現在のポリシーの価値の低いバウンダリを生成し、理論的改善保証を伴う政策学習手順に組み込むことができることを示す。
論文 参考訳（メタデータ） (2020-06-08T17:53:42Z) - Deep Constrained Q-learning [15.582910645906145]
多くの実世界の応用において、強化学習エージェントは特定の規則に従うか制約を満たすことなく、複数の目的を最適化する必要がある。
制約付きMDPの最適Q関数とそれに対応する安全ポリシーを学習するために,Q更新時の行動空間を直接制限する新しい非政治的強化学習フレームワークであるConstrained Q-learningを提案する。
論文 参考訳（メタデータ） (2020-03-20T17:26:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。