論文の概要: Reversal Q-Learning

• arxiv url: http://arxiv.org/abs/2606.17551v1
• Date: Tue, 16 Jun 2026 05:56:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.297246
• Title: Reversal Q-Learning
• Title（参考訳）: Reversal Q-Learning
• Authors: Aditya Oberai, Seohong Park, Sergey Levine,
• Abstract要約: 逆Q-ラーニング(Reversal Q-learning)は、事前データに基づいてフローポリシーをトレーニングする、非政治的なRLアルゴリズムである。 RQLは、最先端のフローベースオフラインRLアルゴリズムと比較して、平均的なオフラインRLパフォーマンスをもたらすことを示す。
• 参考スコア（独自算出の注目度）: 57.43956630070019
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Iterative generative modeling techniques, such as flow matching, provide powerful tools to model complex behaviors for effective offline reinforcement learning (RL). In this work, we propose a new off-policy RL algorithm that trains a flow policy based on prior data. Our idea starts from the "expanded" Markov decision process (MDP) framework, which treats individual flow refinement steps as separate actions in an MDP. To enable off-policy RL within this framework, we apply two techniques: we generate virtual on-policy trajectories (by "reversing" flows) to make this framework compatible with prior data, and we apply a bias-and-variance reduction technique to mitigate the curse of horizon in off-policy RL. We call the resulting algorithm Reversal Q-learning (RQL). RQL has several advantages over previous flow-based RL methods: it does not suffer from backpropagation through time, makes better use of the learned value function, and directly trains the full, expressive flow policy. Through our experiments on 50 challenging simulated robotic tasks, we show that RQL leads to the best average offline RL performance compared to state-of-the-art flow-based offline RL algorithms.
• Abstract（参考訳）: フローマッチングのような反復生成モデリング技術は、効果的なオフライン強化学習(RL)のための複雑な振る舞いをモデル化するための強力なツールを提供する。 本研究では,従来のデータに基づくフローポリシをトレーニングする,新たなオフポリチィRLアルゴリズムを提案する。 我々のアイデアは、個別のフロー改善ステップをMDP内の個別のアクションとして扱う「拡張された」マルコフ決定プロセス(MDP)フレームワークから始まります。 我々は,このフレームワークを従来のデータと互換性を持たせるために,仮想的なオンライントラジェクトリ("逆"フロー)を生成するとともに,オフポリシーRLにおける水平方向の呪いを軽減するため,バイアス・アンド・ディスラプション低減手法を適用した。 得られたアルゴリズムをReversal Q-learning (RQL)と呼ぶ。 RQLは、従来のフローベースのRLメソッドよりもいくつかの利点がある。時間によるバックプロパゲーションに悩まされず、学習した値関数をよりよく利用し、完全な表現力のあるフローポリシーを直接訓練する。 実験の結果,RQLは最新のフローベースオフラインRLアルゴリズムと比較して,平均的なオフラインRLパフォーマンスにつながることがわかった。

関連論文リスト

• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling [9.936731043466699]
  多段階アクションサンプリングプロセスの勾配が原因で,非政治強化学習による表現型フローベース政策の訓練が不安定であることが知られている。 フローロールアウトはリカレント計算に代数的に等価であり、RNNと同様の消滅や爆発的な勾配に影響を受けやすい。 我々は,これらのポリシーのエンドツーエンドのトレーニングを容易にする,ノイズ強化ロールアウトによって実現された実用的なSACベースのアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-09-30T04:21:20Z)
• Flow-Based Policy for Online Reinforcement Learning [34.86742824686496]
  FlowRLは、フローベースのポリシー表現とWasserstein-2正規化最適化を統合する、オンライン強化学習のためのフレームワークである。 オンライン強化学習ベンチマークにおいて,FlowRLが競争力を発揮することを示す。
  論文  参考訳（メタデータ） (2025-06-15T10:53:35Z)
• Flow Q-Learning [61.60383927357656]
  簡単なオフライン強化学習(RL)手法であるフローQ-ラーニング(FQL)を提案する。 FQLは、値を最大化するイテレーティブフローポリシを直接指導するのではなく、表現力のあるワンステップポリシをRLでトレーニングする。 FQLは73の州およびピクセルベースのOGBenchタスクとD4RLタスクに強いパフォーマンスをもたらすことを実験的に示す。
  論文  参考訳（メタデータ） (2025-02-04T18:04:05Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• MOPO: Model-based Offline Policy Optimization [183.6449600580806]
  オフライン強化学習(英語: offline reinforcement learning, RL)とは、以前に収集された大量のデータから完全に学習ポリシーを学習する問題を指す。 既存のモデルベースRLアルゴリズムは,すでにオフライン設定において大きな利益を上げていることを示す。 本稿では,既存のモデルに基づくRL法を,力学の不確実性によって人為的に罰せられる報酬で適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-27T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。