論文の概要: Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.30776v1
• Date: Fri, 29 May 2026 03:08:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.357372
• Title: Efficient and Uncertainty-Aware Diffusion Framework for Offline-to-Online Reinforcement Learning
• Title（参考訳）: オフライン・オンライン強化学習のための効率的かつ不確実性を考慮した拡散フレームワーク
• Abstract要約: Offline-to-Online Reinforcement Learning (O2O-RL)は、オフラインでトレーニング済みのポリシーを活用して、コストのかかるオンラインインタラクションを最小限にする。 既存の研究は、拡散モデルからサンプリングされた軌道データに対するポリシーを微調整することで、このシフトの害を軽減することを目的としている。 オフラインからオンラインへの強化を行うための効率的な textbfDiffusion textbfUncertainty-textbfAware フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.845581305736363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Offline-to-Online Reinforcement Learning (O2O-RL) leverages an offline, pre-trained policy to minimize costly online interactions. Although data-efficient, O2O-RL is susceptible to shifts between offline and online distributions. Existing work aims to mitigate the harm of this shift by finetuning the policy on trajectory data sampled from a diffusion model. Inspired by this line of work, we propose DUAL: an efficient \textbf{D}iffusion \textbf{U}ncertainty-\textbf{A}ware framework for offline-to-online reinforcement \textbf{L}earning. DUAL utilizes the prior knowledge of the diffusion model to distill a fast-sampling diffusion actor policy and transition model in the offline phase. DUAL also employs a Laplace approximation and distance transition-state-shift detection, thereby using uncertainty quantification to improve exploration versus exploitation in the online phase. We formally show that our actor loss with the Laplace approximation provides a proxy for a principled estimate of epistemic uncertainty. Empirically, DUAL improves the online expected return over O2O-RL baselines across multiple settings and environments.
• Abstract（参考訳）: Offline-to-Online Reinforcement Learning (O2O-RL)は、オフラインでトレーニング済みのポリシーを活用して、コストのかかるオンラインインタラクションを最小限にする。 データ効率は高いが、O2O-RLはオフラインとオンラインのディストリビューション間のシフトに影響を受けやすい。 既存の研究は、拡散モデルからサンプリングされた軌道データに対するポリシーを微調整することで、このシフトの害を軽減することを目的としている。 オフラインからオンラインへの強化を行うための効率的な \textbf{D}iffusion \textbf{U}ncertainty-\textbf{A}ware フレームワークを提案する。 DUALは拡散モデルの事前知識を利用して、オフラインフェーズにおける高速サンプリング拡散アクターポリシーと遷移モデルを蒸留する。 DUALはまた、ラプラス近似と距離遷移状態シフト検出を採用し、したがって不確実な定量化を使用して、オンラインフェーズにおける探索とエクスプロイトの改善を行っている。 ラプラス近似によるアクターの損失が、先天的不確実性の原理的推定のプロキシとなることを正式に示す。 実証的に、DUALは複数の設定と環境にわたるO2O-RLベースラインに対するオンライン期待リターンを改善している。

関連論文リスト

• Diffusing to Coordinate: Efficient Online Multi-Agent Diffusion Policies [51.24079409973799]
  拡散に基づく生成モデルは、オンラインマルチエージェント強化学習(MARL)のニーズを満たすために適切に配置されている 我々は、アンダーライン拡散ポリシーを用いて、最初のアンダーラインオフラインアンダーラインMARLフレームワークを提案する。 私たちのキーとなるイノベーションは、拡張された関節のエントロピーを最大化する、緩和された政策目標です。
  論文  参考訳（メタデータ） (2026-02-20T15:38:02Z)
• Boosting Fidelity for Pre-Trained-Diffusion-Based Low-Light Image Enhancement via Condition Refinement [63.54516423266521]
  事前学習拡散ベース(PTDB)法は、しばしばコンテンツ忠実さを犠牲にして知覚的リアリズムを高める。 本稿では,事前学習した拡散モデルにおける条件付けのための新しい最適化手法を提案する。 我々のアプローチはプラグアンドプレイであり、より効率的な制御を提供するために既存の拡散ネットワークにシームレスに統合される。
  論文  参考訳（メタデータ） (2025-10-20T02:40:06Z)
• SAMG: Offline-to-Online Reinforcement Learning via State-Action-Conditional Offline Model Guidance [10.78460888734411]
  オフラインからオンラインへの強化学習(O2O)は、オフラインデータの事前トレーニングモデルを作成し、オンラインの微調整を通じてポリシーを洗練する。 SAMG(State-Action-Conditional Offline Model Guidance)を紹介する。 トレーニング済みのオフライン批評家を凍結し、各ステートアクションサンプルに対してコンパクトなオフライン理解を提供する。 D4RLベンチマークでは最先端のO2O RLアルゴリズムを上回っている。
  論文  参考訳（メタデータ） (2024-10-24T10:35:02Z)
• Energy-Guided Diffusion Sampling for Offline-to-Online Reinforcement Learning [13.802860320234469]
  textbfEnergy-guided textbfDIffusion textbfSampling (EDIS)を紹介する。 EDISは拡散モデルを用いてオフラインデータセットから事前知識を抽出し、オンラインフェーズにおけるデータ生成の強化のためにエネルギー関数を用いてこの知識を蒸留する。 また,MuJoCo,AntMaze,Adroit環境において,経験的性能の20%向上が目覚ましい。
  論文  参考訳（メタデータ） (2024-07-17T09:56:51Z)
• ATraDiff: Accelerating Online Reinforcement Learning with Imaginary Trajectories [27.5648276335047]
  報酬の少ない自律エージェントの訓練は、オンライン強化学習(RL)における長年の問題である 本稿では、オフラインデータを利用した適応軌道微分器(ATraDiff)と呼ばれる生成拡散モデル学習手法を提案する。 ATraDiffは、様々な環境における最先端のパフォーマンスを一貫して達成しており、特に複雑な設定の改善が顕著である。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Train Once, Get a Family: State-Adaptive Balances for Offline-to-Online Reinforcement Learning [71.02384943570372]
  Family Offline-to-Online RL (FamO2O) は、既存のアルゴリズムが状態適応型改善-制約バランスを決定するためのフレームワークである。 FamO2Oは、D4RLベンチマークで最先端のパフォーマンスを達成し、既存の様々な手法よりも統計的に顕著な改善を提供する。
  論文  参考訳（メタデータ） (2023-10-27T08:30:54Z)
• Towards Robust Offline-to-Online Reinforcement Learning via Uncertainty and Smoothness [11.241036026084222]
  offline-to-online (O2O) RLは、限られたオンラインインタラクション内でオフライントレーニングエージェントを改善するためのパラダイムを提供する。 ほとんどのオフラインRLアルゴリズムは性能低下に悩まされ、O2O適応の安定なポリシー改善を達成できなかった。 本稿では,不確実性と滑らか性によるオフラインポリシーの強化を目的としたRobost Offline-to-Online (RO2O)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-29T04:42:50Z)
• A Simple Unified Uncertainty-Guided Framework for Offline-to-Online Reinforcement Learning [25.123237633748193]
  オフラインからオンラインへの強化学習は、制約された探索行動と状態-行動分布シフトのために困難である。 両課題の解決を不確実性ツールで統一する,シンプルな統一uNcertainty-Guided (SUNG) フレームワークを提案する。 SUNGは、さまざまなオフラインRLメソッドと組み合わせることで、最先端のオンラインファインタニング性能を実現する。
  論文  参考訳（メタデータ） (2023-06-13T05:22:26Z)
• ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles [52.34951901588738]
  我々はENsemble-based Offline-To-Online (ENOTO) RLという新しいフレームワークを提案する。 Q-networksの数を増やすことで、オフラインの事前トレーニングとオンラインの微調整を、パフォーマンスを低下させることなくシームレスに橋渡しします。 実験により,ENOTOは既存のオフラインRL手法のトレーニング安定性,学習効率,最終性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-06-12T05:10:10Z)
• Efficient Diffusion Policies for Offline Reinforcement Learning [85.73757789282212]
  Diffsuion-QLは、拡散モデルでポリシーを表現することによってオフラインRLの性能を大幅に向上させる。 これら2つの課題を克服するために,効率的な拡散政策(EDP)を提案する。 EDPは、サンプリングチェーンの実行を避けるために、トレーニング中の腐敗したアクションからアクションを構築する。
  論文  参考訳（メタデータ） (2023-05-31T17:55:21Z)
• Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning [80.25648265273155]
  オフライン強化学習は、固定データセットから学習することで、環境と対話することなくエージェントの動作を学ぶことができる。 オンラインの微調整中、オフラインからオンラインデータへの突然の分散シフトにより、事前訓練されたエージェントのパフォーマンスが急速に低下する可能性がある。 エージェントの性能と訓練安定性に基づいて,オンラインファインチューニングにおける行動クローンの損失を適応的に評価することを提案する。 実験の結果,提案手法はD4RLベンチマークにおいて,最先端のオフライン-オンライン強化学習性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-10-25T09:08:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。