論文の概要: Adaptive Policy Learning for Offline-to-Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2303.07693v1
• Date: Tue, 14 Mar 2023 08:13:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 15:58:25.255728
• Title: Adaptive Policy Learning for Offline-to-Online Reinforcement Learning
• Title（参考訳）: オフライン・オンライン強化学習のための適応的政策学習
• Authors: Han Zheng, Xufang Luo, Pengfei Wei, Xuan Song, Dongsheng Li, Jing Jiang
• Abstract要約: 我々は、エージェントがオフラインデータセットから最初に学習され、オンラインにトレーニングされたオフライン-オンライン設定について検討する。 オフラインおよびオンラインデータを効果的に活用するためのAdaptive Policy Learningというフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 27.80266207283246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional reinforcement learning (RL) needs an environment to collect fresh data, which is impractical when online interactions are costly. Offline RL provides an alternative solution by directly learning from the previously collected dataset. However, it will yield unsatisfactory performance if the quality of the offline datasets is poor. In this paper, we consider an offline-to-online setting where the agent is first learned from the offline dataset and then trained online, and propose a framework called Adaptive Policy Learning for effectively taking advantage of offline and online data. Specifically, we explicitly consider the difference between the online and offline data and apply an adaptive update scheme accordingly, that is, a pessimistic update strategy for the offline dataset and an optimistic/greedy update scheme for the online dataset. Such a simple and effective method provides a way to mix the offline and online RL and achieve the best of both worlds. We further provide two detailed algorithms for implementing the framework through embedding value or policy-based RL algorithms into it. Finally, we conduct extensive experiments on popular continuous control tasks, and results show that our algorithm can learn the expert policy with high sample efficiency even when the quality of offline dataset is poor, e.g., random dataset.
• Abstract（参考訳）: 従来の強化学習(RL)では、オンラインインタラクションがコストがかかる場合には、新しいデータを集める環境が必要である。 オフラインRLは、以前に収集したデータセットから直接学習することで、代替ソリューションを提供する。 しかし、オフラインデータセットの品質が低ければ、不満足なパフォーマンスが得られるだろう。 本稿では,エージェントがまずオフラインデータセットから学び,次にオンライントレーニングを行うオフライン-オンライン設定を検討し,オフライン/オンラインデータを有効に活用するための適応ポリシー学習というフレームワークを提案する。 具体的には、オンラインデータとオフラインデータの違いを明示的に考慮し、オフラインデータセットの悲観的更新戦略とオンラインデータセットの楽観的/欲望的な更新スキームに対応する適応更新スキームを適用する。 このようなシンプルで効果的な方法は、オフラインとオンラインのRLを混合し、両方の世界のベストを達成する方法を提供する。 さらに、価値やポリシーに基づくRLアルゴリズムを組み込むことで、フレームワークを実装するための2つの詳細なアルゴリズムを提供する。 最後に,一般的な連続制御タスクを広範囲に実験した結果,オフラインデータセットの品質が貧弱な場合,例えばランダムデータセットなどであっても,アルゴリズムは高いサンプル効率でエキスパートポリシーを学習できることを示した。

関連論文リスト

• Active Advantage-Aligned Online Reinforcement Learning with Offline Data [56.98480620108727]
  A3 RLは、ポリシー改善を最適化するために、オンラインとオフラインの組み合わせからデータを積極的に選択する新しい方法である。 アクティブサンプリング戦略の有効性を検証する理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-02-11T20:31:59Z)
• Optimistic Critic Reconstruction and Constrained Fine-Tuning for General Offline-to-Online RL [36.65926744075032]
  オフラインからオンラインへの強化学習(O2O)は、オンラインインタラクションの制限によって、パフォーマンスが急速に向上する。 近年の研究では、特定のオフラインRL手法の微調整戦略を設計することが多く、任意のオフライン手法から一般のO2O学習を行うことはできない。 この2つのミスマッチを同時に処理し,オフラインメソッドからオンラインメソッドへの一般的なO2O学習を実現することを提案する。
  論文  参考訳（メタデータ） (2024-12-25T09:52:22Z)
• Efficient Online Reinforcement Learning Fine-Tuning Need Not Retain Offline Data [64.74333980417235]
  オフラインRLを微調整するために適切に設計されたオンラインRLアプローチを使用する限り、オフラインデータの保持は不要であることを示す。 Warm-start RL(WSRL)はオフラインデータを保持することなく微調整が可能であり,既存のアルゴリズムよりも高速に学習でき,高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-12-10T18:57:12Z)
• Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
  オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。 本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:49:41Z)
• Beyond Uniform Sampling: Offline Reinforcement Learning with Imbalanced Datasets [53.8218145723718]
  オフラインポリシー学習は、既存のトラジェクトリのデータセットを使用して、追加データを収集せずに意思決定ポリシーを学ぶことを目的としている。 我々は、データセットが最適下軌道に支配されている場合、最先端のオフラインRLアルゴリズムはデータセットにおけるトラジェクトリの戻り平均よりも大幅に改善されないことを論じる。 本稿では,標準オフラインRLアルゴリズムにおいて,サンプリング戦略の実現と,プラグイン・アンド・プレイモジュールとして使用できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:58:14Z)
• ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles [52.34951901588738]
  我々はENsemble-based Offline-To-Online (ENOTO) RLという新しいフレームワークを提案する。 Q-networksの数を増やすことで、オフラインの事前トレーニングとオンラインの微調整を、パフォーマンスを低下させることなくシームレスに橋渡しします。 実験により,ENOTOは既存のオフラインRL手法のトレーニング安定性,学習効率,最終性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-06-12T05:10:10Z)
• Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning [66.43003402281659]
  オンラインデータ収集を効率的に活用してオフラインデータセットを強化し補完する方法に、中心的な疑問が浮かび上がっている。 我々は、純粋なオフラインRLと純粋なオンラインRLという、両方の世界のベストを打ち負かす3段階のハイブリッドRLアルゴリズムを設計する。 提案アルゴリズムは,データ収集時に報酬情報を必要としない。
  論文  参考訳（メタデータ） (2023-05-17T15:17:23Z)
• Benchmarks and Algorithms for Offline Preference-Based Reward Learning [41.676208473752425]
  本稿では、オフラインデータセットを用いて、プールベースのアクティブラーニングによる嗜好クエリを作成するアプローチを提案する。 提案手法では,報酬学習や政策最適化のステップに対して,実際の物理ロールアウトや正確なシミュレータを必要としない。
  論文  参考訳（メタデータ） (2023-01-03T23:52:16Z)
• MOORe: Model-based Offline-to-Online Reinforcement Learning [26.10368749930102]
  モデルに基づくオフライン強化学習(MOORe)アルゴリズムを提案する。 実験結果から,本アルゴリズムはオフラインからオンラインへの移行を円滑に行い,サンプル効率のよいオンライン適応を可能にした。
  論文  参考訳（メタデータ） (2022-01-25T03:14:57Z)
• Representation Matters: Offline Pretraining for Sequential Decision Making [27.74988221252854]
  本稿では,オフラインデータを逐次意思決定に組み込む手法について考察する。 教師なし学習目標を用いた事前学習は,政策学習アルゴリズムの性能を劇的に向上させることができる。
  論文  参考訳（メタデータ） (2021-02-11T02:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。