論文の概要: PrT-Flow: Probability-Tractable Flow Matching for Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.17667v1
- Date: Tue, 13 Oct 2026 03:51:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.500431
- Title: PrT-Flow: Probability-Tractable Flow Matching for Reinforcement Learning
- Title（参考訳）: PrT-Flow:強化学習のための確率変動型フローマッチング
- Abstract要約: PrT-Flow (Probability-Tractable Flow Matching) はマルチモーダル・マルチステップ動作生成を保持しながら確率密度を計算する。
これらの有限ステップを条件条件付きステップトレーニング(CET)を用いて訓練し、即時速度ではなく、サンプリング中の1ステップの変位を監督する。
PrT-Flow 96%は300の模倣学習を経てロブミミックリフトで成功し、拡散政策基準と一致し、OGBench-Triple Cubeでは600kオンラインステップで96%の成功を収めた。
- 参考スコア（独自算出の注目度）: 4.347202567954241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models and Flow Matching can represent flexible distributions over robot actions, but many reinforcement learning algorithms also require the probability of each action. We introduce PrT-Flow (Probability-Tractable Flow Matching), which computes probability density while retaining multimodal, multi-step action generation. Its Jacobian-Tractable Transformer (JTT) makes each sampling step invertible and enables efficient computation of its Jacobian determinant. We train these finite steps with Conditional Euler-step Training (CET), which supervises their displacement over one step during sampling rather than their instantaneous velocity. We prove that, under certain assumptions, CET has the same minimizers as fitting the Euler-solver updates of Flow Matching. PrT-Flow achieves 96% success on Robomimic Lift after 300 epochs of imitation learning, matching the diffusion policy reference, and 96% success on OGBench Cube-Triple after 600k online steps. These results demonstrate that invertible networks with tractable probability densities can learn effective robot policies and support SAC-style actor-critic training. Our code is available at https://github.com/Sunlight-zero/PrT-Flow .
- Abstract（参考訳）: 拡散モデルとフローマッチングはロボットの動作よりも柔軟な分布を表現できるが、多くの強化学習アルゴリズムはそれぞれの動作の確率も必要としている。
本稿では,マルチモーダル・マルチステップ動作生成を維持しながら確率密度を計算するPrT-Flow(Probability-Tractable Flow Matching)を提案する。
ジャコビアン・トラクタブル変換器(JTT)は各サンプリングステップを可逆化し、ジャコビアン行列式の効率的な計算を可能にする。
これらの有限ステップを条件付きオイラーステップ訓練 (CET) を用いて訓練し, 即時速度ではなく, サンプリング中の1ステップの変位を監督する。
特定の仮定の下では、CETはフローマッチングのEuler-solver更新に適合するのと同じ最小値を持つ。
PrT-Flowは300の模倣学習を経てロブミミックリフトで96%成功し、拡散ポリシーの基準と一致し、OGBench Cube-Tripleでは600kオンラインステップで96%成功している。
これらの結果から, 抽出可能な確率密度を持つ非可逆ネットワークは, 効果的なロボットポリシーを学習し, SACスタイルのアクタ批判訓練を支援することが示唆された。
私たちのコードはhttps://github.com/Sunlight-zero/PrT-Flowで利用可能です。
関連論文リスト
- One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。
本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
論文 参考訳（メタデータ） (2025-11-17T06:34:17Z) - ReinFlow: Fine-tuning Flow Matching Policy with Online Reinforcement Learning [7.452631636467998]
ReinFlowは、継続的ロボット制御のためのオンライン強化学習フレームワークである。
学習可能なノイズをフローポリシーの決定論的パスに注入し、フローを離散時間マルコフプロセスに変換する。
代表的な移動と操作タスクでReinFlowをベンチマークします。
論文 参考訳（メタデータ） (2025-05-28T08:17:16Z) - FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。
非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。
条件設定では、太陽予測において優れた性能を達成している。
論文 参考訳（メタデータ） (2024-11-12T03:03:23Z) - AdaFlow: Imitation Learning with Variance-Adaptive Flow-Based Policies [21.024480978703288]
本稿では,フローベース生成モデルに基づく模倣学習フレームワークであるAdaFlowを提案する。
AdaFlowは状態条件付き常微分方程式(ODE)によるポリシーを表す
AdaFlowは高速な推論速度で高い性能を実現する。
論文 参考訳（メタデータ） (2024-02-06T10:15:38Z) - Distributional GFlowNets with Quantile Flows [73.73721901056662]
Generative Flow Networks(GFlowNets)は、エージェントが一連の意思決定ステップを通じて複雑な構造を生成するためのポリシーを学ぶ確率的サンプルの新たなファミリーである。
本研究では,GFlowNetの分散パラダイムを採用し,各フロー関数を分散化し,学習中により情報的な学習信号を提供する。
GFlowNet学習アルゴリズムは,リスク不確実性のあるシナリオを扱う上で不可欠な,リスクに敏感なポリシーを学習することができる。
論文 参考訳（メタデータ） (2023-02-11T22:06:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。