論文の概要: ANCHOR: KL-Anchored Adaptation for Stable Offline-to-Online RL
- arxiv url: http://arxiv.org/abs/2611.02177v1
- Date: Sun, 01 Nov 2026 20:26:21 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:12:09.537266
- Title: ANCHOR: KL-Anchored Adaptation for Stable Offline-to-Online RL
- Title（参考訳）: ANCHOR: KL-Anchored Adaptation for Staable Offline-to-Online RL
- Abstract要約: オフラインリプレイを伴わないオフライン-オンライン適応について検討し、事前学習モデルと新たに収集した経験のみを用いてエージェントを改良する必要がある。
オフラインリプレイの削除は破滅的な失敗を引き起こすが,オフラインRLからの強い保守的正規化は最終的なオンラインパフォーマンスを抑制することができることを示す。
これらの知見に触発されたANCHORは,オンラインの微調整の早期にアクターをオフラインで事前調整されたポリシーに固定し,時間とともに制約を緩和し,わずかな保守的批判正則化のみを維持できるシンプルな適応手法である。
- 参考スコア（独自算出の注目度）: 3.135300560792927
- License:
- Abstract: Offline-to-online reinforcement learning (RL) follows the pretrain-finetune paradigm: an agent is first pretrained on historical data and then adapted through online interaction. We study offline-to-online adaptation without offline replay, where the agent must improve using only the pretrained model and newly collected experience. A key challenge is to avoid catastrophic failure, a sharp early performance collapse during online fine-tuning, while still achieving strong asymptotic performance. Through controlled experiments, we show that removing offline replay can induce catastrophic failure, while retaining strong conservative regularization from offline RL can suppress final online performance. We also find that common stabilization strategies do not reliably prevent early collapse, and that the critic-side mechanisms we test are insufficient on their own. Motivated by these findings, we propose ANCHOR, a simple adaptation method that anchors the actor to the offline-pretrained policy early in online fine-tuning, anneals this constraint over time, and retains only a small residual conservative critic regularizer. We provide a theoretical interpretation showing that KL anchoring helps preserve critic reliability across nearby occupancy distributions, with a two-phase regret bound explaining when anchoring should be maintained or relaxed. Across FrankaKitchen, AntMaze, and Adroit tasks, ANCHOR substantially reduces catastrophic failure while maintaining strong asymptotic performance. Ablations show that KL annealing and the residual conservative weight are important for balancing early stability and online adaptation, while additional analysis shows that ANCHOR is most beneficial when the pretrained policy contains useful behavior to preserve. Code is available at https://github.com/Cho-Geonwoo/ANCHOR.
- Abstract（参考訳）: オフラインからオンラインへの強化学習(RL)は、まずエージェントが履歴データに基づいて事前訓練され、次にオンラインインタラクションを通じて適応される、事前訓練-ファイントゥンパラダイムに従っている。
オフラインリプレイを伴わないオフライン-オンライン適応について検討し、事前学習モデルと新たに収集した経験のみを用いてエージェントを改良する必要がある。
重要な課題は、破滅的な失敗を避けることであり、オンラインの微調整中に急激な早期パフォーマンスの崩壊を回避しつつ、強力な漸近的なパフォーマンスを達成することである。
制御実験により,オフラインリプレイの削除は破滅的な障害を引き起こすが,オフラインRLからの強い保守的正規化は最終的なオンラインパフォーマンスを抑制することができることを示す。
また、一般的な安定化戦略は早期崩壊を確実に防ぐことができず、また、我々のテストする批判的側面のメカニズムは、それ自体では不十分であることも見出した。
これらの知見に触発されたANCHORは,オンラインの微調整の早期にアクターをオフラインで事前調整されたポリシーに固定し,時間とともに制約を緩和し,わずかな保守的批判正則化のみを維持できるシンプルな適応手法である。
我々は,KLアンカーが,近傍の占有分布に対する批判的信頼性の維持に有効であることを示す理論的解釈を行った。
FrankaKitchen、AntMaze、Adroitタスク全体において、ANCHORは、強力な漸近的パフォーマンスを維持しながら、壊滅的な障害を大幅に低減する。
アブレーションは、KLアニールと残留保存重量が早期安定とオンライン適応のバランスをとる上で重要であることを示し、さらに、事前訓練されたポリシーが保存に有用な行動を含む場合、ANCHORが最も有益であることを示している。
コードはhttps://github.com/Cho-Geonwoo/ANCHOR.comで入手できる。
関連論文リスト
- Freeze, Don't Clone: Fine-Tuning with Expressive Policies Without Retaining Offline Data [41.85981635968745]
オフラインからオンラインへの強化学習は、オフラインプレトレーニングを使用して、その後のオンライン学習を加速する。
多くのメソッドは、微調整を通してオフラインデータセットが引き続き利用可能であると仮定するが、そうでない設定は多数存在する。
オフラインデータが消えると、継続する動作クローン(BC)は、もはやオフラインの挙動分布を保存しない。
我々は,事前訓練した表現を保存しながら,オンライン行動調整を停止させることで,保持しない微調整を大幅に改善できることを実証した。
論文 参考訳（メタデータ） (2026-10-26T20:28:50Z) - RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。
最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。
我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
論文 参考訳（メタデータ） (2026-07-05T15:46:11Z) - AdamO: A Collapse-Suppressed Optimizer for Offline RL [12.482937306811026]
オフラインの強化学習は、ブートストラップされた時間差分(TD)更新が自身のエラーを増幅し、批評家を極端で使用不能なQ値へと駆り立てると、驚くほど失敗する可能性がある。
我々は、オフラインのTD学習をフィードバックシステムとしてモデル化し、Adamベースの批評家の更新を分析する。
この設計は理論的に最悪の作業の安全性を保証し、Adamの連続発散ダイナミクスを保っていることを証明している。
論文 参考訳（メタデータ） (2026-05-03T16:53:29Z) - Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL [3.2883573376133555]
本稿では,オフラインからオンラインRLへのスムーズな移行を可能にするフレームワークである行動適応型Q-Learning(BAQ)を紹介する。
BAQは、(i)不確実性が高い場合のオフライン行動に対してオンラインポリシーを整列させ、(ii)より確実なオンライン体験が蓄積されるにつれて、この制約を徐々に緩和する二重目的損失を包含する。
標準ベンチマーク全体を通じて、BAQは、オフラインからオフラインまでのRLアプローチを一貫して上回り、より高速なリカバリ、堅牢性の向上、全体的なパフォーマンスの向上を実現している。
論文 参考訳（メタデータ） (2025-11-05T18:20:23Z) - Reinforcement Learning enhanced Online Adaptive Clinical Decision Support via Digital Twin powered Policy and Treatment Effect optimized Reward [3.3025649517524793]
本稿では、強化学習がポリシーを提供し、患者デジタルツインが環境を提供し、治療効果が報酬を定義するオンライン適応ツールを提案する。
人工臨床シミュレータの実験では、レイテンシの低下、スループットの安定、安全度の高いクエリ率の低下、標準値ベースラインに対するリターンの改善などが示されている。
論文 参考訳（メタデータ） (2025-08-24T04:51:22Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳（メタデータ） (2023-10-06T17:57:44Z) - Adaptive Behavior Cloning Regularization for Stable Offline-to-Online
Reinforcement Learning [80.25648265273155]
オフライン強化学習は、固定データセットから学習することで、環境と対話することなくエージェントの動作を学ぶことができる。
オンラインの微調整中、オフラインからオンラインデータへの突然の分散シフトにより、事前訓練されたエージェントのパフォーマンスが急速に低下する可能性がある。
エージェントの性能と訓練安定性に基づいて,オンラインファインチューニングにおける行動クローンの損失を適応的に評価することを提案する。
実験の結果,提案手法はD4RLベンチマークにおいて,最先端のオフライン-オンライン強化学習性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-10-25T09:08:26Z) - RORL: Robust Offline Reinforcement Learning via Conservative Smoothing [72.8062448549897]
オフライン強化学習は、複雑な意思決定タスクに大量のオフラインデータを活用できる。
現在のオフラインRLアルゴリズムは一般に、値推定とアクション選択のために保守的に設計されている。
本稿では,ロバストオフライン強化学習(RORL)を提案する。
論文 参考訳（メタデータ） (2022-06-06T18:07:41Z) - Offline-to-Online Reinforcement Learning via Balanced Replay and
Pessimistic Q-Ensemble [135.6115462399788]
深いオフライン強化学習により、オフラインデータセットから強力なロボットエージェントをトレーニングすることが可能になった。
状態-作用分布シフトは、微調整中に厳しいブートストラップエラーを引き起こす可能性がある。
本稿では,オンライン上で遭遇したサンプルを優先しながら,ほぼ政治的なサンプルの使用を奨励するバランスの取れたリプレイ方式を提案する。
論文 参考訳（メタデータ） (2021-07-01T16:26:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。