論文の概要: Freeze, Don't Clone: Fine-Tuning with Expressive Policies Without Retaining Offline Data

• arxiv url: http://arxiv.org/abs/2610.36247v1
• Date: Mon, 26 Oct 2026 20:28:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.430608
• Title: Freeze, Don't Clone: Fine-Tuning with Expressive Policies Without Retaining Offline Data
• Title（参考訳）: フリーズ、クローンしない:オフラインデータを保持することなく、表現力のあるポリシーで微調整
• Abstract要約: オフラインからオンラインへの強化学習は、オフラインプレトレーニングを使用して、その後のオンライン学習を加速する。 多くのメソッドは、微調整を通してオフラインデータセットが引き続き利用可能であると仮定するが、そうでない設定は多数存在する。 オフラインデータが消えると、継続する動作クローン(BC)は、もはやオフラインの挙動分布を保存しない。 我々は,事前訓練した表現を保存しながら,オンライン行動調整を停止させることで,保持しない微調整を大幅に改善できることを実証した。
• 参考スコア（独自算出の注目度）: 41.85981635968745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline-to-online reinforcement learning uses offline pretraining to accelerate subsequent online learning. While many methods assume the offline dataset remains available throughout fine-tuning, there are many settings where this is not the case. Prior work attributes failures in this setting primarily to critic recalibration under distribution shift. We identify a complementary actor-side failure: once the offline data disappears, continued behavioral cloning (BC) no longer preserves the offline behavior distribution and instead refits the behavioral model to the agent's limited, and nonstationary, online experience. We demonstrate that stopping online behavioral fitting while preserving the pretrained expressive prior substantially improves no-retention fine-tuning across implicit flow Q-learning (IFQL), flow Q-learning (FQL), and action-chunked RL (QC) on seven OGBench domains. We trace this failure to a behavioral feedback loop: continuing online behavioral cloning rapidly erases the pretrained prior, inducing representational collapse and action diversity loss that starves the critic of useful exploration. Freezing the prior breaks this cycle, preserving offline coverage while allowing value learning to drive continuous improvement.
• Abstract（参考訳）: オフラインからオンラインへの強化学習は、オフラインプレトレーニングを使用して、その後のオンライン学習を加速する。 多くのメソッドは、微調整を通してオフラインデータセットが引き続き利用可能であると仮定するが、そうでない設定は多数存在する。 以前の作業は、主に分散シフトの下でのリカバリを批判するため、この設定での失敗に起因している。 オフラインデータが消えると、継続する行動クローン(BC)は、もはやオフラインの行動分布を保存せず、代わりに、エージェントの制限された非定常的なオンラインエクスペリエンスに振る舞いモデルを適合させる。 プレトレーニングされた表現を保存しながらオンラインの行動調整を止めることで、暗黙のフローQ-ラーニング(IFQL)、フローQ-ラーニング(FQL)、アクションチャンクされたRL(QC)を7つのOGBenchドメインで非保持微調整することを示す。 オンライン行動クローンの継続は、事前訓練された事前学習を急速に消去し、表現的崩壊と行動多様性の喪失を引き起こす。 事前の凍結はこのサイクルを破り、オフラインのカバレッジを維持しながら、価値の学習が継続的改善を促進する。

関連論文リスト

• Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL [3.2883573376133555]
  本稿では,オフラインからオンラインRLへのスムーズな移行を可能にするフレームワークである行動適応型Q-Learning(BAQ)を紹介する。 BAQは、(i)不確実性が高い場合のオフライン行動に対してオンラインポリシーを整列させ、(ii)より確実なオンライン体験が蓄積されるにつれて、この制約を徐々に緩和する二重目的損失を包含する。 標準ベンチマーク全体を通じて、BAQは、オフラインからオフラインまでのRLアプローチを一貫して上回り、より高速なリカバリ、堅牢性の向上、全体的なパフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2025-11-05T18:20:23Z)
• Efficient Online RL Fine Tuning with Offline Pre-trained Policy Only [22.94253602450729]
  既存のオンライン強化学習(RL)ファインチューニング手法では、安定性と性能のために、オフラインで事前訓練されたQ-関数によるトレーニングを継続する必要がある。 オフライン事前学習ポリシーのみを用いたオンラインRLファインチューニング手法を提案する。 PORL(Policy-Only Reinforcement Learning Fine-Tuning)を導入し、オンライン段階でQ-関数をスクラッチから迅速に初期化する。
  論文  参考訳（メタデータ） (2025-05-22T16:14:08Z)
• Efficient Online Reinforcement Learning Fine-Tuning Need Not Retain Offline Data [64.74333980417235]
  オフラインRLを微調整するために適切に設計されたオンラインRLアプローチを使用する限り、オフラインデータの保持は不要であることを示す。 Warm-start RL(WSRL)はオフラインデータを保持することなく微調整が可能であり,既存のアルゴリズムよりも高速に学習でき,高い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-12-10T18:57:12Z)
• Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning [80.25648265273155]
  オフライン強化学習は、固定データセットから学習することで、環境と対話することなくエージェントの動作を学ぶことができる。 オンラインの微調整中、オフラインからオンラインデータへの突然の分散シフトにより、事前訓練されたエージェントのパフォーマンスが急速に低下する可能性がある。 エージェントの性能と訓練安定性に基づいて,オンラインファインチューニングにおける行動クローンの損失を適応的に評価することを提案する。 実験の結果,提案手法はD4RLベンチマークにおいて,最先端のオフライン-オンライン強化学習性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-10-25T09:08:26Z)
• Offline-to-Online Reinforcement Learning via Balanced Replay and Pessimistic Q-Ensemble [135.6115462399788]
  深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。 状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。 本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2021-07-01T16:26:54Z)
• OPAL: Offline Primitive Discovery for Accelerating Offline Reinforcement Learning [107.6943868812716]
  エージェントは大量のオフライン体験データにアクセスでき、オンライン環境へのアクセスは極めて限られている。 我々の主な洞察は、様々な行動からなるオフラインデータを提示すると、このデータを活用する効果的な方法は、反復的かつ時間的に拡張された原始的行動の連続的な空間を抽出することである。 オフラインポリシ最適化のメリットに加えて,このようなオフラインプリミティブ学習の実施も,数発の模倣学習の改善に有効であることを示す。
  論文  参考訳（メタデータ） (2020-10-26T14:31:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。