論文の概要: From Static Policies to Adaptive Priors in Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.35880v1
• Date: Sat, 26 Sep 2026 23:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.876977
• Title: From Static Policies to Adaptive Priors in Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習における静的政策から適応的優先へ
• Abstract要約: オフライン強化学習(RL)は伝統的に、保守的な目的の下で直接配置するための学習ポリシーに重点を置いてきた。 オンラインインタラクションを通じてオフラインでトレーニングされたポリシーが更新されると、この定式化は不完全になる、と我々は主張する。 このポジションペーパーでは、このような設定では、オフラインRLの目的は即時デプロイを超えて拡張されるべきである、と論じている。
• 参考スコア（独自算出の注目度）: 18.537283227706492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline reinforcement learning (RL) has traditionally focused on learning policies for direct deployment under conservative objectives, where uncertainty outside the offline dataset is treated pessimistically to ensure robustness. We argue that this formulation becomes incomplete when an offline-trained policy is subsequently updated through online interaction, as increasingly occurs in modern intelligent systems through test-time adaptation and online fine-tuning. This position paper argues that, in such settings, the objective of offline RL should extend beyond immediate deployment and instead prioritize learning adaptive policy priors: policies that preserve the capacity to improve during subsequent interaction through memory, exploration, and self-correction. We formalize this perspective as adaptive offline reinforcement learning (AORL), distinguish it from offline-to-online RL, and explain why adaptability becomes important under distributional shift, limited dataset coverage, and changing test-time conditions. We further discuss Bayesian offline RL as one principled direction for constructing adaptive policy priors by preserving epistemic uncertainty over plausible environments. Finally, we outline connections, open challenges, and research directions for treating offline RL as preparation for future experience rather than as a static deployment problem.
• Abstract（参考訳）: オフライン強化学習(RL)は伝統的に、オフラインデータセット以外の不確実性を悲観的に扱い、堅牢性を確保するために、保守的な目的の下で直接デプロイするための学習ポリシーに重点を置いてきた。 この定式化は、テスト時間適応やオンライン微調整を通じて、現代のインテリジェントシステムでますます起こるように、オフライントレーニングされたポリシーがオンラインインタラクションによって更新されると不完全になる、と我々は主張する。 このような状況下では、オフラインRLの目的は即時展開を超えて、学習適応政策の優先事項として、メモリ、探索、自己補正を通じて、その後のインタラクションにおいて改善する能力を維持する政策を論じる。 我々はこの視点を適応型オフライン強化学習(AORL)として定式化し、オフラインからオフラインまでのRLと区別し、分散シフトやデータセットカバレッジの制限、テスト時間条件の変更によって適応性が重要になる理由を説明する。 さらに, ベイジアンオフラインRLを, 可塑性環境に対する疫学的不確実性を保存することで, 適応政策の事前構築の原則的方向性として論じる。 最後に、オフラインのRLを静的なデプロイメント問題ではなく、将来のエクスペリエンスのための準備として扱うためのコネクション、オープンな課題、研究の方向性について概説する。

関連論文リスト

• Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning [22.717342103512493]
  オフラインからオンラインへの強化学習(O2O-RL)では、ポリシが最初に、以前に収集されたデータセットを使用して、安全にオフラインでトレーニングされる。 我々は,O2O-RLにおけるオンラインインタラクション予算の下で,政策選択と微調整のための新しい適応的アプローチを提案する。
  論文  参考訳（メタデータ） (2026-05-06T16:51:44Z)
• Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL [3.2883573376133555]
  本稿では,オフラインからオンラインRLへのスムーズな移行を可能にするフレームワークである行動適応型Q-Learning(BAQ)を紹介する。 BAQは、(i)不確実性が高い場合のオフライン行動に対してオンラインポリシーを整列させ、(ii)より確実なオンライン体験が蓄積されるにつれて、この制約を徐々に緩和する二重目的損失を包含する。 標準ベンチマーク全体を通じて、BAQは、オフラインからオフラインまでのRLアプローチを一貫して上回り、より高速なリカバリ、堅牢性の向上、全体的なパフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2025-11-05T18:20:23Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Planning to Go Out-of-Distribution in Offline-to-Online Reinforcement Learning [9.341618348621662]
  オンラインインタラクションの限られた予算の中で、最高のパフォーマンスポリシーを見つけることを目指しています。 まず本研究では,本質的な報酬と UCB に基づくオンラインRL探索手法について検討する。 そして,これらの問題を回避するために,配当を廃止する計画を立てるアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-09T13:47:05Z)
• Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
  我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。 この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。 MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-10-14T03:22:43Z)
• Offline RL Policies Should be Trained to be Adaptive [89.8580376798065]
  ベイズ的意味において、オフラインRLで最適に振る舞うには暗黙のPOMDPを解く必要があることを示す。 結果として、オフラインRLの最適ポリシーは、現在の状態だけでなく、評価中にこれまで見られたすべての遷移に依存して適応されなければならない。 本稿では、この最適適応ポリシーを近似するモデルフリーアルゴリズムを提案し、オフラインRLベンチマークにおける適応ポリシーの学習の有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-05T17:58:33Z)
• Regularizing a Model-based Policy Stationary Distribution to Stabilize Offline Reinforcement Learning [62.19209005400561]
  オフライン強化学習(RL)は、古典的なRLアルゴリズムのパラダイムを拡張して、静的データセットから純粋に学習する。 オフラインRLの鍵となる課題は、オフラインデータの分布と学習されたポリシーの定常状態分布とのミスマッチによって引き起こされるポリシートレーニングの不安定性である。 政策最適化プロセス中にオフラインデータに対する現在の方針の定常分布を正規化する。
  論文  参考訳（メタデータ） (2022-06-14T20:56:16Z)
• OptiDICE: Offline Policy Optimization via Stationary Distribution Correction Estimation [59.469401906712555]
  より原理的な方法で過大評価を防止するオフライン強化学習アルゴリズムを提案する。 提案アルゴリズムであるOptiDICEは,最適ポリシーの定常分布補正を直接推定する。 OptiDICEは最先端の手法と競合して動作することを示す。
  論文  参考訳（メタデータ） (2021-06-21T00:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。