Fugu-MT 論文翻訳(概要): Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration

論文の概要: Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration

arxiv url: http://arxiv.org/abs/2310.19805v4
Date: Tue, 28 May 2024 07:57:57 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 04:17:08.410835
Title: Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration
Title（参考訳）: Q条件付き状態エントロピー探索によるオフライン・オンライン強化学習の改善
Authors: Ziqi Zhang, Xiao Xiong, Zifeng Zhuang, Jinxin Liu, Donglin Wang,
Abstract要約: オフライン強化学習(RL)の事前学習方針を微調整する方法について検討する。固有報酬としてQ条件状態エントロピー(QCSE)を提案する。 QCSEによる大幅な改善(CQLで約13%、Cal-QLで8%)を観察します。
参考スコア（独自算出の注目度）: 29.891468119032
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Studying how to fine-tune offline reinforcement learning (RL) pre-trained policy is profoundly significant for enhancing the sample efficiency of RL algorithms. However, directly fine-tuning pre-trained policies often results in sub-optimal performance. This is primarily due to the distribution shift between offline pre-training and online fine-tuning stages. Specifically, the distribution shift limits the acquisition of effective online samples, ultimately impacting the online fine-tuning performance. In order to narrow down the distribution shift between offline and online stages, we proposed Q conditioned state entropy (QCSE) as intrinsic reward. Specifically, QCSE maximizes the state entropy of all samples individually, considering their respective Q values. This approach encourages exploration of low-frequency samples while penalizing high-frequency ones, and implicitly achieves State Marginal Matching (SMM), thereby ensuring optimal performance, solving the asymptotic sub-optimality of constraint-based approaches. Additionally, QCSE can seamlessly integrate into various RL algorithms, enhancing online fine-tuning performance. To validate our claim, we conduct extensive experiments, and observe significant improvements with QCSE (about 13% for CQL and 8% for Cal-QL). Furthermore, we extended experimental tests to other algorithms, affirming the generality of QCSE.
Abstract（参考訳）: オフライン強化学習(RL)事前学習ポリシーを微調整する方法の研究は,RLアルゴリズムのサンプル効率を高める上で極めて重要である。しかし、直接調整された事前訓練されたポリシーは、しばしば準最適性能をもたらす。これは主に、オフラインの事前トレーニングとオンラインの微調整ステージの間の分散シフトによるものだ。特に、分散シフトは効果的なオンラインサンプルの取得を制限し、最終的にはオンラインの微調整のパフォーマンスに影響を及ぼす。オフラインとオンラインの段階間の分散シフトを狭めるため、本質的な報酬としてQ条件付き状態エントロピー(QCSE)を提案した。具体的には、QCSEは各Q値を考慮して、全てのサンプルの状態エントロピーを個別に最大化する。このアプローチは、高周波サンプルをペナルティ化しながら低周波サンプルの探索を奨励し、ステイトマージナルマッチング(SMM)を暗黙的に達成し、最適性能を確保し、制約に基づくアプローチの漸近的部分最適性を解決する。さらに、QCSEは様々なRLアルゴリズムにシームレスに統合することができ、オンラインの微調整性能を向上させる。当社の主張を検証するため、広範な実験を行い、QCSE(CQLでは約13%、Cal-QLでは8%)による大幅な改善を観察しています。さらに,実験結果を他のアルゴリズムに拡張し,QCSEの汎用性を確認した。

関連論文リスト

Online Statistical Inference for Time-varying Sample-averaged Q-learning [2.2374171443798034]
本稿では,バッチ平均Qラーニングの時間変化を,サンプル平均Qラーニングと呼ぶ。本研究では, サンプル平均化アルゴリズムの正規性について, 温和な条件下での洞察を提供する新しい枠組みを開発する。古典的なOpenAI Gym環境下で行った数値実験により、サンプル平均Q-ラーニングの時間変化は、シングルサンプルQ-ラーニングと定数バッチQ-ラーニングのどちらよりも一貫して優れていた。
論文参考訳（メタデータ） (2024-10-14T17:17:19Z)
A Perspective of Q-value Estimation on Offline-to-Online Reinforcement Learning [54.48409201256968]
オフラインからオンラインへの強化学習(O2O RL)は、少数のオンラインサンプルを使用して、オフライン事前訓練ポリシーのパフォーマンスを改善することを目的としている。ほとんどのO2O手法は、RLの目的と悲観のバランス、オフラインとオンラインのサンプルの利用に焦点を当てている。
論文参考訳（メタデータ） (2023-12-12T19:24:35Z)
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning [57.83919813698673]
Projected Off-Policy Q-Learning (POP-QL) は、政治外のサンプルを同時に重み付け、分散を防止し、価値近似誤差を減らすためにポリシーを制約する新しいアクタ批判アルゴリズムである。我々の実験では、POP-QLは標準ベンチマーク上での競合性能を示すだけでなく、データ収集ポリシーがかなり最適化されていないタスクにおいて競合するメソッドよりも優れています。
論文参考訳（メタデータ） (2023-11-25T00:30:58Z)
Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。ソフトマージン条件下でのバニラQ関数の類似した結果を示す。我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
論文参考訳（メタデータ） (2023-02-05T14:22:41Z)
The Efficacy of Pessimism in Asynchronous Q-Learning [17.193902915070506]
ペシミズムの原理を非同期Q-ラーニングに組み込んだアルゴリズムフレームワークを開発した。このフレームワークは、サンプル効率の向上と、ほぼ専門的なデータの存在下での適応性の向上につながります。我々の結果は、マルコフ的非i.d.データの存在下での悲観主義原理の使用に対する最初の理論的支援を提供する。
論文参考訳（メタデータ） (2022-03-14T17:59:01Z)
Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity [51.476337785345436]
有限水平マルコフ決定過程の文脈におけるQ-ラーニングの悲観的変種について検討する。ほぼ最適サンプル複雑性を実現するために,分散再現型悲観的Q-ラーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-02-28T15:39:36Z)
Aggressive Q-Learning with Ensembles: Achieving Both High Sample Efficiency and High Asymptotic Performance [12.871109549160389]
本稿では、REDQのサンプル効率とTQCの性能を改善する新しいモデルフリーアルゴリズム、AQEを提案する。 AQEは非常に単純で、批評家の分布表現もターゲットのランダム化も必要としない。
論文参考訳（メタデータ） (2021-11-17T14:48:52Z)
Online Target Q-learning with Reverse Experience Replay: Efficiently finding the Optimal Policy for Linear MDPs [50.75812033462294]
我々は,Q-ラーニングの実践的成功と悲観的理論的結果とのギャップを埋める。本稿では,新しいQ-Rex法とQ-RexDaReを提案する。 Q-Rex は線形 MDP の最適ポリシを効率的に見つけることができる。
論文参考訳（メタデータ） (2021-10-16T01:47:41Z)
Uncertainty-Based Offline Reinforcement Learning with Diversified Q-Ensemble [16.92791301062903]
本稿では,Q値予測の信頼性を考慮した不確実性に基づくオフラインRL手法を提案する。意外なことに、カットされたQ-ラーニングとともにQ-networksの数を単純に増やすことで、既存のオフラインRLメソッドを様々なタスクで大幅に上回ります。
論文参考訳（メタデータ） (2021-10-04T16:40:13Z)
Cross Learning in Deep Q-Networks [82.20059754270302]
本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
論文参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。