論文の概要: Expressive Value Learning for Scalable Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2510.08218v1
• Date: Thu, 09 Oct 2025 13:42:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:15.101115
• Title: Expressive Value Learning for Scalable Offline Reinforcement Learning
• Title（参考訳）: スケーラブルオフライン強化学習のための表現的価値学習
• Authors: Nicolas Espinosa-Dice, Kiante Brantley, Wen Sun,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、意思決定の順序を学習するための強力なパラダイムである。 オフラインRLは、大規模で多様なデータセットのトレーニングエージェントによる有望な道を提供する。 オフライン強化学習のための表現的価値学習(EVOR)を導入する。これはスケーラブルなオフラインRLアプローチであり、表現的ポリシーと表現的価値関数を統合している。
• 参考スコア（独自算出の注目度）: 9.946269411850064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) is a powerful paradigm for learning to make sequences of decisions. However, RL has yet to be fully leveraged in robotics, principally due to its lack of scalability. Offline RL offers a promising avenue by training agents on large, diverse datasets, avoiding the costly real-world interactions of online RL. Scaling offline RL to increasingly complex datasets requires expressive generative models such as diffusion and flow matching. However, existing methods typically depend on either backpropagation through time (BPTT), which is computationally prohibitive, or policy distillation, which introduces compounding errors and limits scalability to larger base policies. In this paper, we consider the question of how to develop a scalable offline RL approach without relying on distillation or backpropagation through time. We introduce Expressive Value Learning for Offline Reinforcement Learning (EVOR): a scalable offline RL approach that integrates both expressive policies and expressive value functions. EVOR learns an optimal, regularized Q-function via flow matching during training. At inference-time, EVOR performs inference-time policy extraction via rejection sampling against the expressive value function, enabling efficient optimization, regularization, and compute-scalable search without retraining. Empirically, we show that EVOR outperforms baselines on a diverse set of offline RL tasks, demonstrating the benefit of integrating expressive value learning into offline RL.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、意思決定の順序を学習するための強力なパラダイムである。 しかしながら、RLは、スケーラビリティの欠如が主な理由として、ロボット工学において完全に活用されていない。 Offline RLは、大規模で多様なデータセット上のトレーニングエージェントによる有望な方法を提供する。 オフラインRLをますます複雑なデータセットにスケールするには、拡散やフローマッチングといった表現力のある生成モデルが必要である。 しかし、既存の手法は一般に、計算的に禁止される時間によるバックプロパゲーション(BPTT)や、複雑なエラーを引き起こし、拡張性をより大きな基本ポリシーに制限するポリシーの蒸留に依存する。 本稿では, 蒸留やバックプロパゲーションに頼らずに, スケーラブルなオフラインRLアプローチを開発する方法について考察する。 オフライン強化学習のための表現的価値学習(EVOR: Expressive Value Learning for Offline Reinforcement Learning)は,表現的ポリシと表現的価値関数を統合したスケーラブルなオフラインRLアプローチである。 EVORはトレーニング中にフローマッチングを通じて最適な正規化されたQ-関数を学習する。 推論時において、EVORは、表現値関数に対する拒絶サンプリングによる推論時ポリシー抽出を行い、リトレーニングなしで効率的な最適化、正規化、計算スケーリング検索を可能にする。 実証的に、EVORは様々なオフラインRLタスクのベースラインを上回り、表現的価値学習をオフラインRLに統合する利点を示す。

関連論文リスト

• Unsupervised Data Generation for Offline Reinforcement Learning: A Perspective from Model [57.20064815347607]
  オフライン強化学習(RL)は、最近RL研究者から関心が高まりつつある。 オフラインRLの性能は、オンラインRLのフィードバックによって修正できる配布外問題に悩まされる。 本稿では、まず、バッチデータとオフラインRLアルゴリズムの性能を理論的に橋渡しする。 タスクに依存しない環境では、教師なしのRLによって訓練された一連のポリシーは、パフォーマンスギャップにおける最悪の後悔を最小限に抑えることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T14:08:36Z)
• MOORL: A Framework for Integrating Offline-Online Reinforcement Learning [6.7265073544042995]
  オフラインおよびオンライン学習を統合するハイブリッドフレームワークであるMOORL(Meta Offline-Online Reinforcement Learning)を提案する。 提案手法は,オフラインデータとオンラインデータの相補的強みを効果的に組み合わせることで,探索の促進を図っている。 計算オーバーヘッドが最小限であるMOORLは、実世界のシナリオにおける実用的な応用の可能性を強調し、高い性能を達成する。
  論文  参考訳（メタデータ） (2025-06-11T10:12:50Z)
• Scaling Offline RL via Efficient and Expressive Shortcut Models [13.050231036248338]
  ノイズサンプリングプロセスの反復性のため, オフライン強化学習(RL)は依然として困難である。 本稿では、ショートカットモデルを利用してトレーニングと推論の両方をスケールする新しいオフラインRLアルゴリズムであるScalable Offline Reinforcement Learning (SORL)を紹介する。 我々は、SORLがオフラインのRLタスクにまたがって高い性能を達成し、テスト時間計算の増大とともに正のスケーリング挙動を示すことを示した。
  論文  参考訳（メタデータ） (2025-05-28T20:59:22Z)
• Is Value Learning Really the Main Bottleneck in Offline RL? [70.54708989409409]
  ポリシー抽出アルゴリズムの選択はオフラインRLの性能とスケーラビリティに大きく影響することを示す。 本稿では,2つの簡易なテスト時ポリシー改善手法を提案し,これらの手法が性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:07:49Z)
• Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning [93.99377042564919]
  本稿では,潜在的利点の探索を妨げることなく,より柔軟な値推定制約を構築することを試みる。 鍵となるアイデアは、オフラインポリシの"テストベッド"として、オンライン形式で簡単に操作可能な、市販のRLシミュレータを活用することだ。 我々は、状態と報酬空間におけるドメイン間の差異を軽減するモデルベースのRLアプローチであるCoWorldを紹介する。
  論文  参考訳（メタデータ） (2023-05-24T15:45:35Z)
• Offline Reinforcement Learning with Value-based Episodic Memory [19.12430651038357]
  オフライン強化学習(RL)は、実世界の問題にRLを適用することを約束している。 本稿では,最適値学習と行動クローニングを円滑に補間する予測型Vラーニング(EVL)を提案する。 本稿では,VEM(Value-based Episodic Memory)と呼ばれる新しいオフライン手法を提案する。
  論文  参考訳（メタデータ） (2021-10-19T08:20:11Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)
• Representation Matters: Offline Pretraining for Sequential Decision Making [27.74988221252854]
  本稿では,オフラインデータを逐次意思決定に組み込む手法について考察する。 教師なし学習目標を用いた事前学習は,政策学習アルゴリズムの性能を劇的に向上させることができる。
  論文  参考訳（メタデータ） (2021-02-11T02:38:12Z)
• EMaQ: Expected-Max Q-Learning Operator for Simple Yet Effective Offline and Online RL [48.552287941528]
  オフ・ポリティクス強化学習は、意思決定ポリシーのサンプル効率の学習を約束する。 オフラインのRL設定では、標準のオフポリシーのRLメソッドは大幅に性能が低下する。 本稿では,提案アルゴリズムとより密接な関係を持つ期待値Q-Learning(EMaQ)を提案する。
  論文  参考訳（メタデータ） (2020-07-21T21:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。