論文の概要: Q-Distribution guided Q-learning for offline reinforcement learning: Uncertainty penalized Q-value via consistency model

• arxiv url: http://arxiv.org/abs/2410.20312v1
• Date: Sun, 27 Oct 2024 02:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:53.449318
• Title: Q-Distribution guided Q-learning for offline reinforcement learning: Uncertainty penalized Q-value via consistency model
• Title（参考訳）: オフライン強化学習のためのQ-ディストリビューション指導Q-ラーニング:一貫性モデルによる不確かさの証明Q-値
• Authors: Jing Zhang, Linjiajie Fang, Kexin Shi, Wenjia Wang, Bing-Yi Jing,
• Abstract要約: 我々は,不確実性推定に基づいて,OOD領域のQ値に悲観的な調整を施したQ-Distriion Guided Q-Learning (QDQ)を提案する。 QDQは一貫してD4RLベンチマークで強いパフォーマンスを示し、多くのタスクで大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 14.15965650090744
• License:
• Abstract: ``Distribution shift'' is the main obstacle to the success of offline reinforcement learning. A learning policy may take actions beyond the behavior policy's knowledge, referred to as Out-of-Distribution (OOD) actions. The Q-values for these OOD actions can be easily overestimated. As a result, the learning policy is biased by using incorrect Q-value estimates. One common approach to avoid Q-value overestimation is to make a pessimistic adjustment. Our key idea is to penalize the Q-values of OOD actions associated with high uncertainty. In this work, we propose Q-Distribution Guided Q-Learning (QDQ), which applies a pessimistic adjustment to Q-values in OOD regions based on uncertainty estimation. This uncertainty measure relies on the conditional Q-value distribution, learned through a high-fidelity and efficient consistency model. Additionally, to prevent overly conservative estimates, we introduce an uncertainty-aware optimization objective for updating the Q-value function. The proposed QDQ demonstrates solid theoretical guarantees for the accuracy of Q-value distribution learning and uncertainty measurement, as well as the performance of the learning policy. QDQ consistently shows strong performance on the D4RL benchmark and achieves significant improvements across many tasks.
• Abstract（参考訳）: オフライン強化学習の成功の主な障害は「流通シフト」である。 学習政策は、行動政策の知識を超えた行動をとることができ、その行動は「アウト・オブ・ディストリビューション(OOD)」と呼ばれる。 これらの OOD アクションの Q-値を簡単に過大評価することができる。 その結果、誤Q値推定を用いて学習方針に偏りが生じる。 Q値過大評価を避けるための一般的なアプローチは悲観的な調整を行うことである。 鍵となる考え方は、高い不確実性を伴うOODアクションのQ値のペナルティ化である。 本研究では,不確実性推定に基づくOOD領域におけるQ-値の悲観的な調整を行うQ-Distriion Guided Q-Learning (QDQ)を提案する。 この不確実性尺度は、高忠実かつ効率的な一貫性モデルを通して学習された条件付きQ値分布に依存する。 さらに、過度に保守的な推定を避けるために、Q値関数を更新するための不確実性を考慮した最適化目標を導入する。 提案したQDQは、Q値分布学習と不確実性測定の精度と学習ポリシーの性能の確固たる理論的保証を示す。 QDQは一貫してD4RLベンチマークで強いパフォーマンスを示し、多くのタスクで大幅な改善を実現している。

関連論文リスト

• Strategically Conservative Q-Learning [89.17906766703763]
  オフライン強化学習(RL)は、RLの実用性を拡張するための魅力的なパラダイムである。 オフラインRLの最大の難しさは、オフ・オブ・ディストリビューション(OOD)アクションに遭遇する際の近似誤差の影響を緩和することである。 本稿では, 予測が容易かつ困難であるOODデータを識別する, SCQ(Strategical conservative Q-Learning) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T22:09:46Z)
• A Perspective of Q-value Estimation on Offline-to-Online Reinforcement Learning [54.48409201256968]
  オフラインからオンラインへの強化学習(O2O RL)は、少数のオンラインサンプルを使用して、オフライン事前訓練ポリシーのパフォーマンスを改善することを目的としている。 ほとんどのO2O手法は、RLの目的と悲観のバランス、オフラインとオンラインのサンプルの利用に焦点を当てている。
  論文  参考訳（メタデータ） (2023-12-12T19:24:35Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)
• Mildly Conservative Q-Learning for Offline Reinforcement Learning [63.2183622958666]
  オフライン強化学習(RL)は、環境と継続的に対話することなく、静的なログ付きデータセットから学習するタスクを定義する。 既存のアプローチ、目に見えない行動のペナルティ化、行動方針の規則化は悲観的すぎる。 我々は,適切な擬似Q値を割り当てることで,OODアクションを積極的に訓練するマイルリー保守的Q-ラーニング(MCQ)を提案する。
  論文  参考訳（メタデータ） (2022-06-09T19:44:35Z)
• Temporal-Difference Value Estimation via Uncertainty-Guided Soft Updates [110.92598350897192]
  Q-Learningは、制御タスクを実行するポリシーを学ぶのに効果的であることが証明されている。 推定ノイズは、政策改善ステップにおける最大演算子の後、バイアスとなる。 UQL(Unbiased Soft Q-Learning)は、2つのアクション、有限状態空間からマルチアクション、無限状態マルコフ決定プロセスまで、EQLの作業を拡張する。
  論文  参考訳（メタデータ） (2021-10-28T00:07:19Z)
• Parameter-Free Deterministic Reduction of the Estimation Bias in Continuous Control [0.0]
  パラメータフリーで新しいQ-ラーニングバリアントを導入し、この過小評価バイアスを連続制御に還元する。 我々は、MuJoCoとBox2Dの連続制御タスクのセットで改善性能をテストする。
  論文  参考訳（メタデータ） (2021-09-24T07:41:07Z)
• Estimation Error Correction in Deep Reinforcement Learning for Deterministic Actor-Critic Methods [0.0]
  価値に基づく深層強化学習法では、値関数の近似は過大評価バイアスを誘発し、準最適ポリシーをもたらす。 過大評価バイアスを克服することを目的とした深いアクター批判的手法では,エージェントが受信した強化信号に高いばらつきがある場合,顕著な過大評価バイアスが発生することを示す。 過小評価を最小限に抑えるため,パラメータフリーで新しいQ-ラーニングモデルを提案する。
  論文  参考訳（メタデータ） (2021-09-22T13:49:35Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。