論文の概要: Beyond One-Size-Fits-All: Diagnosis-Driven Online Reinforcement Learning with Offline Priors

• arxiv url: http://arxiv.org/abs/2606.25527v1
• Date: Wed, 24 Jun 2026 08:05:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.271165
• Title: Beyond One-Size-Fits-All: Diagnosis-Driven Online Reinforcement Learning with Offline Priors
• Title（参考訳）: One-Size-Fits-Allを超えて: オフラインプライオリティによる診断駆動型オンライン強化学習
• Authors: Guozheng Ma, Lu Li, Zilin Wang, Pierre-Luc Bacon, Dacheng Tao,
• Abstract要約: 現場は診断駆動型緊張管理に移行すべきだと我々は主張する。そこでは、デプロイ固有のエビデンスによって、学習者がトレーニングを通じてその先行とどのように関連しているかが示され、柔軟かつ適応的な展開を可能にする。 我々は,3つの機能的役割によるオンライン最適化の作り直し,ヘルプ・オー・ハート・リバーサルの実証実験の制御,基礎モデルのポストトレーニングから具体化インテリジェンスへのクロスドメインエビデンス,そして5つの実質的対策との関わりを特徴とする枠組みで,この立場を支持する。
• 参考スコア（独自算出の注目度）: 59.11261091345906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online reinforcement learning (RL) agents increasingly depend on knowledge acquired offline to achieve practical efficiency. Originally studied in offline-to-online RL, this paradigm now spans foundation model post-training and embodied intelligence, with prior types expanding from offline datasets and pre-trained policies to increasingly diverse knowledge sources such as multimodal foundation models and generative world models. Offline priors have become central to how deep RL is developed and deployed. However, this reliance introduces a challenge that the prevailing benchmark-driven paradigm cannot resolve: because prior validity varies across deployments and shifts during training, no single approach to managing it is universally optimal, and benchmark rankings offer limited guidance for real-world deployments. Rather than pursuing universal solutions, we argue that the field should shift to diagnosis-driven tension management, in which deployment-specific evidence guides how the learner relates to its priors throughout training, enabling both flexible and adaptive deployment. We support this position with a framework characterizing how priors reshape online optimization through three functional roles, controlled experiments demonstrating help-or-hurt reversals, cross-domain evidence from foundation model post-training to embodied intelligence, and engagement with five substantive counterarguments.
• Abstract（参考訳）: オンライン強化学習(RL)エージェントは、事実上の効率を達成するために、オフラインで取得した知識にますます依存している。 元々はオフラインからオンラインのRLで研究されていたが、このパラダイムは、オフラインデータセットや事前トレーニングされたポリシーから、マルチモーダル基礎モデルや生成的世界モデルといった、ますます多様な知識ソースへと拡張された、基礎モデルとインボデードインテリジェンスにまたがっている。 オフラインの事前処理は、RLの開発とデプロイの深みの中心となっている。 しかしながら、この依存は、一般的なベンチマーク駆動パラダイムでは解決できない課題を提起する。事前の妥当性は、トレーニング中のデプロイメントやシフトによって異なり、それを管理するための単一のアプローチは、普遍的に最適であり、ベンチマークランキングは、実際のデプロイメントに対して限定的なガイダンスを提供する。 ユニバーサルソリューションを追求するよりも、現場は診断駆動型緊張管理に移行するべきだ、と我々は主張する。そこでは、デプロイ固有の証拠が学習者がトレーニングを通じてその先行とどのように関係しているかを示し、柔軟で適応的なデプロイメントを可能にする。 我々は,3つの機能的役割によるオンライン最適化の作り直し,ヘルプ・オー・ハート・リバーサルの実証実験の制御,基礎モデルのポストトレーニングから具体化インテリジェンスへのクロスドメインエビデンス,そして5つの実質的対策との関わりを特徴とする枠組みで,この立場を支持する。

関連論文リスト

• Causal prompting model-based offline reinforcement learning [16.95292725275873]
  モデルベースのオフラインRLでは、エージェントは追加または非倫理的な探索を必要とせずに、事前にコンパイルされたデータセットを完全に活用することができる。 モデルベースのオフラインRLをオンラインシステムに適用することは、高度に最適化された(ノイズが満ちた)、オンラインシステムによって生成されたデータセットの多様な性質による課題を示す。 本稿では,高度に最適化されたリソース制約のあるオンラインシナリオを対象としたCausal Prompting Reinforcement Learningフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-06-03T07:28:57Z)
• Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning [93.99377042564919]
  本稿では,潜在的利点の探索を妨げることなく,より柔軟な値推定制約を構築することを試みる。 鍵となるアイデアは、オフラインポリシの"テストベッド"として、オンライン形式で簡単に操作可能な、市販のRLシミュレータを活用することだ。 我々は、状態と報酬空間におけるドメイン間の差異を軽減するモデルベースのRLアプローチであるCoWorldを紹介する。
  論文  参考訳（メタデータ） (2023-05-24T15:45:35Z)
• Deploying Offline Reinforcement Learning with Human Feedback [34.11507483049087]
  強化学習は、現実世界のアプリケーションで意思決定タスクを約束している。 1つの実践的なフレームワークは、オフラインデータセットからパラメータ化されたポリシーモデルをトレーニングし、それらをオンライン環境にデプロイすることである。 このアプローチは、オフライントレーニングが完璧でない可能性があるため、危険なアクションを取る可能性のあるRLモデルのパフォーマンスが低下する可能性があるため、リスクが伴う可能性がある。 我々は、人間がRLモデルを監督し、オンラインデプロイメントフェーズで追加のフィードバックを提供する代替フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T12:13:16Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)
• Representation Matters: Offline Pretraining for Sequential Decision Making [27.74988221252854]
  本稿では,オフラインデータを逐次意思決定に組み込む手法について考察する。 教師なし学習目標を用いた事前学習は,政策学習アルゴリズムの性能を劇的に向上させることができる。
  論文  参考訳（メタデータ） (2021-02-11T02:38:12Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。