論文の概要: Active Offline-to-Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.11720v1
• Date: Mon, 13 Jul 2026 15:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.540455
• Title: Active Offline-to-Online Reinforcement Learning
• Title（参考訳）: アクティブオフライン-オンライン強化学習
• Abstract要約: オフライン強化学習(O2O-RL)における相互作用予算の制限下でのファインチューニングのためのアクティブポリシー選択について検討した。 本稿では,このトレードオフのバランスをとるためのアプローチとして,より高信頼度境界に基づく微調整政策を積極的に選択する手法を提案する。
• 参考スコア（独自算出の注目度）: 17.49671322104596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Offline reinforcement learning (RL) enables effective policies to be trained from large, previously collected datasets and subsequently improved through limited online interaction. This offline-to-online RL (O2O-RL) paradigm is particularly promising in nonstationary domains where interaction is costly or potentially hazardous. Standard O2O-RL pipelines train multiple candidate policies offline, evaluate them using off-policy or online evaluation, and then deploy and fine-tune the policy with the highest estimated value. However, as in offline pretraining, fine-tuning performance is highly sensitive to the choice of algorithm and hyperparameters, making it risky to commit to a single policy. Objectives: We study active policy selection for fine-tuning under a limited interaction budget in O2O-RL settings. To our knowledge, this is the first work to address this problem. Methods: We formulate the problem by identifying a fundamental trade-off between allocating online interactions to policy evaluation, which helps identify high-performing policies, and allocating them to fine-tuning, which improves policy performance. We then propose an approach that balances this trade-off by actively selecting policies for fine-tuning based on upper-confidence bounds on their future performance. These bounds are derived from locally linear performance forecasts fitted to observations obtained through online evaluation. Results: Across a diverse range of experiments, the proposed approach consistently outperforms existing O2O-RL baselines. Conclusions: Actively selecting and fine-tuning policies uses limited online interaction budgets more effectively than either committing to a single policy or dividing the budget equally among all policies. Our framework also advances offline RL toward practical deployment in real-world systems where online interaction is costly or risky.
• Abstract（参考訳）: 背景: オフライン強化学習(RL)は、以前に収集された大規模なデータセットから効果的なポリシーをトレーニングし、その後、限定的なオンラインインタラクションによって改善することを可能にする。 このオフライン-オンラインRL(O2O-RL)パラダイムは、相互作用がコストがかかるか潜在的に危険である非定常領域において特に有望である。 標準的なO2O-RLパイプラインは、複数の候補ポリシーをオフラインでトレーニングし、オフラインまたはオンライン評価を使用して評価し、最も推定値の高いポリシをデプロイおよび微調整する。 しかし、オフラインの事前トレーニングのように、微調整のパフォーマンスはアルゴリズムとハイパーパラメータの選択に非常に敏感であり、単一のポリシーにコミットするリスクがある。 目的: O2O-RL設定における相互作用予算の制限の下で, ファインチューニングのためのアクティブポリシー選択について検討する。 私たちの知る限りでは、この問題に対処する最初の作業です。 方法:我々は、オンラインインタラクションを政策評価に割り当てることによる基本的なトレードオフを特定し、高いパフォーマンスのポリシーを識別し、それらを細調整に割り当てることにより、政策パフォーマンスを向上させることで問題を定式化する。 そこで我々は,このトレードオフのバランスをとるための手法を提案し,その将来的な性能に対する高信頼度境界に基づく微調整政策を積極的に選択する。 これらの境界は、オンライン評価によって得られた観測に適合する局所的な線形性能予測から導かれる。 結果: 様々な実験において,提案手法は既存のO2O-RLベースラインを一貫して上回っている。 結論: アクティブに選択し、調整するポリシは、単一のポリシーにコミットするか、あるいはすべてのポリシーに等しく予算を分割するよりも、より効率的なオンラインインタラクション予算を使用する。 当社のフレームワークは,オンラインインタラクションがコストのかかる,あるいはリスクの高い実世界のシステムに,オフラインRLを実践的に展開する上でも有効です。

関連論文リスト

• Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning [22.717342103512493]
  オフラインからオンラインへの強化学習(O2O-RL)では、ポリシが最初に、以前に収集されたデータセットを使用して、安全にオフラインでトレーニングされる。 我々は,O2O-RLにおけるオンラインインタラクション予算の下で,政策選択と微調整のための新しい適応的アプローチを提案する。
  論文  参考訳（メタデータ） (2026-05-06T16:51:44Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Active Advantage-Aligned Online Reinforcement Learning with Offline Data [56.98480620108727]
  A3RLは,アクティブアドバンテージアライメント・アライメント・サンプリング・ストラテジーを取り入れた新しい信頼度を取り入れた手法である。 本手法はオフラインデータを利用する競合するオンラインRL技術より優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-11T20:31:59Z)
• A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning [2.823645435281551]
  オフラインからオンラインへの強化学習(RL)は、トレーニング済みのオフラインポリシと、ダウンストリームタスクのためにトレーニングされたオンラインポリシの両方を使用する。 本研究では, モノリシックな探査手法を用いたオフライン・オフラインRL手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T08:49:37Z)
• Bayesian Design Principles for Offline-to-Online Reinforcement Learning [50.97583504192167]
  オフラインからオンラインへの微調整は、探索にコストがかかる、あるいは安全でない、現実世界のアプリケーションにとって極めて重要です。 本稿では,オフラインからオフラインまでの微調整のジレンマに対処する:エージェントが悲観的のままであれば,より良いポリシーを習得できないかもしれないが,楽観的になった場合,性能が突然低下する可能性がある。 このようなジレンマを解決するにはベイズ設計の原則が不可欠であることを示す。
  論文  参考訳（メタデータ） (2024-05-31T16:31:07Z)
• Train Once, Get a Family: State-Adaptive Balances for Offline-to-Online Reinforcement Learning [71.02384943570372]
  Family Offline-to-Online RL (FamO2O) は、既存のアルゴリズムが状態適応型改善-制約バランスを決定するためのフレームワークである。 FamO2Oは、D4RLベンチマークで最先端のパフォーマンスを達成し、既存の様々な手法よりも統計的に顕著な改善を提供する。
  論文  参考訳（メタデータ） (2023-10-27T08:30:54Z)
• Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias [96.14064037614942]
  オンライン微調整終了時の方針抽出段階であるオフラインリトレーニングを提案する。 楽観的(探索的)ポリシーは環境と相互作用するために使用され、別の悲観的(探索的)ポリシーは観察されたすべてのデータに基づいて訓練され、評価される。
  論文  参考訳（メタデータ） (2023-10-12T17:50:09Z)
• Planning to Go Out-of-Distribution in Offline-to-Online Reinforcement Learning [9.341618348621662]
  オンラインインタラクションの限られた予算の中で、最高のパフォーマンスポリシーを見つけることを目指しています。 まず本研究では,本質的な報酬と UCB に基づくオンラインRL探索手法について検討する。 そして,これらの問題を回避するために,配当を廃止する計画を立てるアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-09T13:47:05Z)
• Showing Your Offline Reinforcement Learning Work: Online Evaluation Budget Matters [0.0]
  本稿では,オンライン評価予算の固定化を前提として,最良方針の性能評価を行う評価手法を提案する。 オンライン評価予算の制限により、行動的クローンは、さまざまな専門家レベルやデータレシエーションに対して強力なベースラインとなっていることが分かりました。 提案手法がオフライン-RL実践者のツールセットに組み込まれて,実世界のシステムにRLをデプロイする際の情報的な結論に到達できることを期待する。
  論文  参考訳（メタデータ） (2021-10-08T14:25:21Z)
• OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation [59.469401906712555]
  より原理的な方法で過大評価を防止するオフライン強化学習アルゴリズムを提案する。 提案アルゴリズムであるOptiDICEは,最適ポリシーの定常分布補正を直接推定する。 OptiDICEは最先端の手法と競合して動作することを示す。
  論文  参考訳（メタデータ） (2021-06-21T00:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。