論文の概要: Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.05123v1
• Date: Wed, 06 May 2026 16:51:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.947579
• Title: Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning
• Title（参考訳）: オフライン・オンライン強化学習のための相互作用予算下における適応的政策選択と微調整
• Abstract要約: オフラインからオンラインへの強化学習(O2O-RL)では、ポリシが最初に、以前に収集されたデータセットを使用して、安全にオフラインでトレーニングされる。 我々は,O2O-RLにおけるオンラインインタラクション予算の下で,政策選択と微調整のための新しい適応的アプローチを提案する。
• 参考スコア（独自算出の注目度）: 22.717342103512493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In offline-to-online reinforcement learning (O2O-RL), policies are first safely trained offline using previously collected datasets and then further fine-tuned for tasks via limited online interactions. In a typical O2O-RL pipeline, candidate policies trained with offline RL are evaluated via either off-policy evaluation (OPE) or online evaluation (OE). The policy with the highest estimated value is then deployed and continually fine-tuned. However, this setup has two main issues. First, OPE can be unreliable, making it risky to deploy a policy based solely on those estimates, whereas OE may identify a viable policy with substantial online interaction, which could have been used for fine-tuning. Second--and more importantly--it is also often not possible to determine a priori whether a pretrained policy will improve with post-deployment fine-tuning, especially in non-stationary environments. As a result, procedures committing to a single deployed policy are impractical in many real-world settings. Moreover, a naive remedy that exhaustively fine-tunes all candidates would violate interaction budget constraints and is likewise infeasible. In this paper, we propose a novel adaptive approach for policy selection and fine-tuning under online interaction budgets in O2O-RL. Following the standard pipeline, we first train a set of candidate policies with different offline RL algorithms and hyperparameters; we then perform OPE to obtain initial performance estimates. We next adaptively select and fine-tune the policies based on their predicted performance via an upper-confidence-bound approach thereby making efficient use of online interactions. We demonstrate that our approach improves upon O2O-RL baselines with various benchmarks.
• Abstract（参考訳）: オフラインからオンラインへの強化学習(O2O-RL)では、ポリシは、以前に収集したデータセットを使用して、最初に安全にオフラインでトレーニングされ、その後、制限されたオンラインインタラクションを通じてタスクのためにさらに微調整される。 典型的なO2O-RLパイプラインでは、オフラインRLでトレーニングされた候補ポリシーは、オフポリシー評価(OPE)またはオンライン評価(OE)によって評価される。 推定値が最も高いポリシがデプロイされ、継続的に微調整される。 しかし、この設定には2つの大きな問題がある。 第一に、OPEは信頼できないため、これらの見積のみに基づいてポリシーをデプロイするリスクがあるが、OEは、微調整に使用可能な、実質的なオンラインインタラクションを備えた実行可能なポリシーを特定できるかもしれない。 第二に、さらに重要なことは、特に非定常環境において、事前訓練された政策が後処理の微調整で改善するかどうかを判断できないこともしばしばある。 結果として、1つのデプロイされたポリシーにコミットする手順は、現実の多くの設定では実用的ではない。 さらに、全ての候補者を極端に微調整するナイーブな治療法は、相互作用予算の制約に違反し、同様に実現不可能である。 本稿では、O2O-RLにおけるオンラインインタラクション予算の下で、ポリシーの選択と微調整のための新しい適応的アプローチを提案する。 標準パイプラインに続いて、まず、異なるオフラインRLアルゴリズムとハイパーパラメータで候補ポリシーのセットをトレーニングし、OPEを実行して初期性能推定値を得る。 次に、アダプティブにアダプティブに選択し、アダプエンス・バウンド・アプローチによる予測性能に基づいて微調整を行い、オンラインインタラクションを効率的に活用する。 提案手法は,O2O-RLベースラインを様々なベンチマークで改善することを示す。

関連論文リスト

• Active Offline-to-Online Reinforcement Learning [17.49671322104596]
  オフライン強化学習(O2O-RL)における相互作用予算の制限下でのファインチューニングのためのアクティブポリシー選択について検討した。 本稿では,このトレードオフのバランスをとるためのアプローチとして,より高信頼度境界に基づく微調整政策を積極的に選択する手法を提案する。
  論文  参考訳（メタデータ） (2026-07-13T15:46:11Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Optimistic Critic Reconstruction and Constrained Fine-Tuning for General Offline-to-Online RL [36.65926744075032]
  オフラインからオンラインへの強化学習(O2O)は、オンラインインタラクションの制限によって、パフォーマンスが急速に向上する。 近年の研究では、特定のオフラインRL手法の微調整戦略を設計することが多く、任意のオフライン手法から一般のO2O学習を行うことはできない。 この2つのミスマッチを同時に処理し,オフラインメソッドからオンラインメソッドへの一般的なO2O学習を実現することを提案する。
  論文  参考訳（メタデータ） (2024-12-25T09:52:22Z)
• Bayesian Design Principles for Offline-to-Online Reinforcement Learning [50.97583504192167]
  オフラインからオンラインへの微調整は、探索にコストがかかる、あるいは安全でない、現実世界のアプリケーションにとって極めて重要です。 本稿では,オフラインからオフラインまでの微調整のジレンマに対処する:エージェントが悲観的のままであれば,より良いポリシーを習得できないかもしれないが,楽観的になった場合,性能が突然低下する可能性がある。 このようなジレンマを解決するにはベイズ設計の原則が不可欠であることを示す。
  論文  参考訳（メタデータ） (2024-05-31T16:31:07Z)
• Train Once, Get a Family: State-Adaptive Balances for Offline-to-Online Reinforcement Learning [71.02384943570372]
  Family Offline-to-Online RL (FamO2O) は、既存のアルゴリズムが状態適応型改善-制約バランスを決定するためのフレームワークである。 FamO2Oは、D4RLベンチマークで最先端のパフォーマンスを達成し、既存の様々な手法よりも統計的に顕著な改善を提供する。
  論文  参考訳（メタデータ） (2023-10-27T08:30:54Z)
• Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias [96.14064037614942]
  オンライン微調整終了時の方針抽出段階であるオフラインリトレーニングを提案する。 楽観的(探索的)ポリシーは環境と相互作用するために使用され、別の悲観的(探索的)ポリシーは観察されたすべてのデータに基づいて訓練され、評価される。
  論文  参考訳（メタデータ） (2023-10-12T17:50:09Z)
• Planning to Go Out-of-Distribution in Offline-to-Online Reinforcement Learning [9.341618348621662]
  オンラインインタラクションの限られた予算の中で、最高のパフォーマンスポリシーを見つけることを目指しています。 まず本研究では,本質的な報酬と UCB に基づくオンラインRL探索手法について検討する。 そして,これらの問題を回避するために,配当を廃止する計画を立てるアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-09T13:47:05Z)
• OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation [59.469401906712555]
  より原理的な方法で過大評価を防止するオフライン強化学習アルゴリズムを提案する。 提案アルゴリズムであるOptiDICEは,最適ポリシーの定常分布補正を直接推定する。 OptiDICEは最先端の手法と競合して動作することを示す。
  論文  参考訳（メタデータ） (2021-06-21T00:43:30Z)
• Non-Stationary Off-Policy Optimization [50.41335279896062]
  本研究では,時間的空間的帯域幅の非政治最適化の新たな課題について検討する。 オフライン学習フェーズでは、ログ化されたデータをカテゴリの潜在状態に分割し、各状態に対してほぼ最適のサブポリシーを学ぶ。 オンラインデプロイメントの段階では、学習したサブ政治をそのパフォーマンスに基づいて順応的に切り替える。
  論文  参考訳（メタデータ） (2020-06-15T09:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。