論文の概要: Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation

• arxiv url: http://arxiv.org/abs/2609.33127v1
• Date: Sun, 27 Sep 2026 02:51:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:16:04.718026
• Title: Policy Plasticity Matters in Offline-to-Online Reinforcement Learning: Refitting Offline Policies for Online Adaptation
• Title（参考訳）: オフライン強化学習における政策塑性の課題:オンライン適応のためのオフライン政策の見直し
• Abstract要約: Offline-to-Online Reinforcement Learning (O2O RL)は、静的なオフラインデータセットを使用してポリシーを事前訓練し、その後オンラインインタラクションを通じてポリシーを適応する実践パラダイムとして登場した。 我々は,ネットワークの可塑性の観点からO2O適応について検討し,オフライン学習政策がオンライン学習に十分な適応性を維持しているかどうかを問う。 そこで本研究では,O2Oトランジションの軽量モデルレベル手法であるフレッシュイニシャライゼーションとポリシートランスファー(REFIT)による可塑性の復元を提案する。
• 参考スコア（独自算出の注目度）: 14.060191932656835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline-to-Online Reinforcement Learning (O2O RL) has emerged as a practical paradigm that pre-trains the policy using static offline datasets and subsequently adapts the policy through online interactions. Existing O2O methods primarily address the transition through value calibration, while generally treating the offline-trained policy as a given initialization. We instead study O2O adaptation from the perspective of network plasticity, asking whether the offline-trained policy remains sufficiently adaptable for online learning. Controlled experiments show that prolonged optimization on static offline data progressively reduces network plasticity even after offline performance has largely saturated, and that lower plasticity is associated with weaker subsequent online improvement. Motivated by these observations, we propose REstoring plasticity via Fresh Initialization and policy Transfer (REFIT), a lightweight model-level method for the O2O transition. Before online fine-tuning, REFIT distills the offline policy into a freshly initialized student while temporarily freezing a random subset of student units, transferring the learned offline behavior to a more plastic policy initialization. Extensive experiments on D4RL and OGBench demonstrate that REFIT consistently achieves higher aggregate performance than existing O2O plug-in methods across both Cal-QL and IQL backbones, while plasticity diagnostics and ablations provide further evidence of restored network plasticity.
• Abstract（参考訳）: Offline-to-Online Reinforcement Learning (O2O RL)は、静的なオフラインデータセットを使用してポリシーを事前訓練し、その後オンラインインタラクションを通じてポリシーを適応する実践パラダイムとして登場した。 既存のO2Oメソッドは、主に値のキャリブレーションによる遷移に対処するが、一般的にオフラインで訓練されたポリシーを与えられた初期化として扱う。 代わりに、ネットワーク可塑性の観点からO2O適応を研究し、オフライン学習ポリシーがオンライン学習に十分な適応性を維持しているかどうかを問う。 制御された実験により、静的オフラインデータに対する長期最適化は、オフライン性能が大きく飽和した後でもネットワークの可塑性を徐々に減少させ、低可塑性はその後のオンライン改善の弱さと関連していることが示された。 そこで本研究では,O2Oトランジションの軽量モデルレベル手法であるフレッシュイニシャライゼーションとポリシートランスファー(REFIT)による可塑性の復元を提案する。 オンラインの微調整の前に、REFITは学生のランダムなサブセットを一時的に凍結しながら、オフラインポリシーを新しい初期化学生に蒸留し、学習したオフライン動作をよりプラスティックなポリシー初期化に転送する。 D4RLとOGBenchの大規模な実験により、REFITはCal-QLとIQLのバックボーンにわたる既存のO2Oプラグインメソッドよりも一貫して高い集約性能を実現している。

関連論文リスト

• Action-Free Offline-to-Online RL via Discretised State Policies [8.696862667760778]
  エージェントは$(s,r,s'$s)$sのみからなるデータセットから学ぶ必要がある。 我々は,行動よりも望ましい次の状態遷移を推奨する学習国家政策を提案する。
  論文  参考訳（メタデータ） (2026-01-31T09:53:04Z)
• Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL [3.2883573376133555]
  本稿では,オフラインからオンラインRLへのスムーズな移行を可能にするフレームワークである行動適応型Q-Learning(BAQ)を紹介する。 BAQは、(i)不確実性が高い場合のオフライン行動に対してオンラインポリシーを整列させ、(ii)より確実なオンライン体験が蓄積されるにつれて、この制約を徐々に緩和する二重目的損失を包含する。 標準ベンチマーク全体を通じて、BAQは、オフラインからオフラインまでのRLアプローチを一貫して上回り、より高速なリカバリ、堅牢性の向上、全体的なパフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2025-11-05T18:20:23Z)
• Optimistic Critic Reconstruction and Constrained Fine-Tuning for General Offline-to-Online RL [36.65926744075032]
  オフラインからオンラインへの強化学習(O2O)は、オンラインインタラクションの制限によって、パフォーマンスが急速に向上する。 近年の研究では、特定のオフラインRL手法の微調整戦略を設計することが多く、任意のオフライン手法から一般のO2O学習を行うことはできない。 この2つのミスマッチを同時に処理し,オフラインメソッドからオンラインメソッドへの一般的なO2O学習を実現することを提案する。
  論文  参考訳（メタデータ） (2024-12-25T09:52:22Z)
• Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
  オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。 本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:49:41Z)
• Train Once, Get a Family: State-Adaptive Balances for Offline-to-Online Reinforcement Learning [71.02384943570372]
  Family Offline-to-Online RL (FamO2O) は、既存のアルゴリズムが状態適応型改善-制約バランスを決定するためのフレームワークである。 FamO2Oは、D4RLベンチマークで最先端のパフォーマンスを達成し、既存の様々な手法よりも統計的に顕著な改善を提供する。
  論文  参考訳（メタデータ） (2023-10-27T08:30:54Z)
• Towards Robust Offline-to-Online Reinforcement Learning via Uncertainty and Smoothness [11.241036026084222]
  offline-to-online (O2O) RLは、限られたオンラインインタラクション内でオフライントレーニングエージェントを改善するためのパラダイムを提供する。 ほとんどのオフラインRLアルゴリズムは性能低下に悩まされ、O2O適応の安定なポリシー改善を達成できなかった。 本稿では,不確実性と滑らか性によるオフラインポリシーの強化を目的としたRobost Offline-to-Online (RO2O)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-29T04:42:50Z)
• ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles [52.34951901588738]
  我々はENsemble-based Offline-To-Online (ENOTO) RLという新しいフレームワークを提案する。 Q-networksの数を増やすことで、オフラインの事前トレーニングとオンラインの微調整を、パフォーマンスを低下させることなくシームレスに橋渡しします。 実験により,ENOTOは既存のオフラインRL手法のトレーニング安定性,学習効率,最終性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-06-12T05:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。