論文の概要: RoMAN-Flow: Taming Autoregressive Normalizing Flows for Offline Reinforcement Learning in Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2608.20208v1
- Date: Thu, 20 Aug 2026 16:07:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.631342
- Title: RoMAN-Flow: Taming Autoregressive Normalizing Flows for Offline Reinforcement Learning in Robotic Manipulation
- Title（参考訳）: RoMAN-Flow:ロボットマニピュレーションにおけるオフライン強化学習のための自己回帰正規化フローのモデリング
- Abstract要約: オフライン強化学習フレームワークは、ロボット操作にAR-NFポリシーを実用的なものにする。
RoMAN-Flowはサンプリング不要で有利な可能性の目標を採用している。
シミュレーションされた操作ベンチマークと実世界のロボットプラットフォームによる実験は、RoMAN-Flowが競合ポリシーのパフォーマンスを達成することを実証している。
- 参考スコア（独自算出の注目度）: 36.16163751472016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Offline reinforcement learning improves robotic policies using previously collected data without further environment interaction. Yet prevalent diffusion- and flow-matching robot policies lack tractable likelihoods, limiting their use in likelihood-based offline RL post-training. AR-NFs offer both expressive action modeling and exact likelihood evaluation, but their sequential sampling incurs substantial sampling overhead during policy optimization and deployment. We present RoMAN-Flow (Robotic Manipulation with Autoregressive Normalizing Flows), an offline reinforcement learning framework that makes AR-NF policies practical for robotic manipulation by addressing this sampling bottleneck in both stages. During policy optimization, RoMAN-Flow employs a sampling-free, advantage-weighted likelihood objective that assigns higher likelihood to high-advantage actions from the offline dataset without sampling from the autoregressive policy. For efficient deployment, it distills the optimized autoregressive policy into a one-step action generator, enabling low-latency action prediction. Experiments across multiple simulated manipulation benchmarks and real-world robotic platforms demonstrate that RoMAN-Flow achieves competitive policy performance while substantially reducing inference latency. Code is available at https://github.com/konnyaku28/RoMAN-Flow.
- Abstract（参考訳）: オフライン強化学習は、環境のさらなる相互作用を伴わずに、事前に収集したデータを用いてロボットポリシーを改善する。
しかし、拡散とフローマッチングのロボットポリシーは、可能性に基づくオフラインRLポストトレーニングでの使用を制限する、難易度を欠いている。
AR-NFは、表現力のあるアクションモデリングと正確な精度評価の両方を提供するが、それらのシーケンシャルサンプリングは、ポリシー最適化とデプロイメントの間、かなりのサンプリングオーバーヘッドを引き起こす。
本稿では,このサンプリングボトルネックに両段階で対処することにより,ロボット操作にAR-NFポリシーを実用的なものにするオフライン強化学習フレームワークであるRoMAN-Flowを提案する。
ポリシ最適化の間、RoMAN-Flowでは、自動回帰ポリシからサンプリングすることなく、オフラインデータセットから高アドバンテージアクションに高い確率を割り当てる、サンプリング不要で有利な可能性目標を採用している。
効率的な配置のために、最適化された自己回帰ポリシーを1ステップのアクションジェネレータに蒸留し、低レイテンシなアクション予測を可能にする。
複数のシミュレーション操作ベンチマークと実世界のロボットプラットフォームを用いた実験により、RoMAN-Flowは、推論レイテンシを著しく低減しつつ、競合するポリシパフォーマンスを実現することが示された。
コードはhttps://github.com/konnyaku28/RoMAN-Flowで入手できる。
関連論文リスト
- VGFM: Expressive Robot Policies via Dense Value Guidance in Flow Matching [2.7429630700600893]
本稿では,フローベースのポリシ内で高密度な値誘導型シェーピングを可能にする,スケーラブルなオフラインRLフレームワークを提案する。
VGFMは、アクション(x-述語)空間における条件付きフローマッチングモデルとしてポリシーをパラメータ化する。
本稿では,厳密な評価プロトコルの下で,VGFMが幅広いタスクに対して高い性能を実現することを示す。
論文 参考訳（メタデータ） (2026-09-13T03:50:52Z) - FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space [15.351960740594201]
FlowDAggerは、潜伏空間における人間の介入から凍結した生成ロボットポリシーを適用するためのサンプルおよび計算効率のよい方法である。
私たちのキーとなるアイデアはアクション・インバージョン(アクション・インバージョン)です。
本研究では,FlowDAggerのシミュレーションおよび実世界のバイマニュアルおよびシングルアーム操作について評価する。
論文 参考訳（メタデータ） (2026-07-09T19:07:33Z) - From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。
敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。
実験の結果、最大40.6%のトレーニングステップが短縮された。
論文 参考訳（メタデータ） (2026-06-12T02:13:55Z) - Improving Robotic Generalist Policies via Flow Reversal Steering [92.97477771370428]
汎用ポリシーは多様なロボットデータセットから幅広いスキルを学ぶことができる。
新しい課題を解決し、改善するためには、ポリシーのリッチな振る舞いから適切なアクションを推論し、呼び出す方法が必要です。
本稿では,フローリバーサルステアリング (FRS) を提案し,フローポリシーを逆に通すことで,最適だが合理的な動作をとる手法を提案し,それらを一般の動作モードにマッピングする。
論文 参考訳（メタデータ） (2026-06-11T17:59:45Z) - Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。
我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。
7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文 参考訳（メタデータ） (2026-05-20T15:14:14Z) - HiFlow: Tokenization-Free Scale-Wise Autoregressive Policy Learning via Flow Matching [11.405254375363818]
階層フロー政策(Hierarchical Flow Policy)は、トークン化のない粗大な自己回帰政策である。
HiFlowは、単純な時間プーリングを通じて、各アクションチャンクからマルチスケールの連続的なアクションターゲットを構築する。
MimicGen、RoboTwin 2.0、および実環境の実験は、HiFlowが既存のメソッドを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-03-28T14:22:58Z) - Latent Policy Steering through One-Step Flow Policies [34.06099184809882]
オフライン強化学習(RL)により、ロボットはリスクを伴わないオフラインデータセットから学習することができる。
遅延ポリシーステアリング(LPS)は、一段階のMeanFlowポリシを通じて、原アクション空間のQ段階をバックプロパゲートすることで、高忠実な遅延ポリシーの改善を可能にする。
OGBenchと現実世界のロボットタスク全体で、LPSは最先端のパフォーマンスを達成し、行動的クローン化と強力な潜在的ステアリングベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-03-05T15:38:08Z) - Flow Policy Gradients for Robot Control [67.61978635211048]
フローマッチングポリシ勾配は、より表現力のあるポリシのトレーニングと微調整に有効である。
我々は、スクラッチからトレーニングを行う際に、フロー表現をどのように活用するかを示し、ベースラインよりもきめ細やかな堅牢性を改善する。
論文 参考訳（メタデータ） (2026-02-02T18:56:49Z) - SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。
大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。
本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
論文 参考訳（メタデータ） (2025-10-20T19:53:02Z) - Dense Policy: Bidirectional Autoregressive Learning of Actions [51.60428100831717]
本稿では,行動予測における自己回帰的政策の新たなパラダイムを確立するために,Dense Policyと呼ばれる双方向拡張学習手法を提案する。
軽量なエンコーダのみのアーキテクチャを使用して、アクションシーケンスを初期単一フレームからターゲットシーケンスへ粗い方法で反復的に展開する。
実験により、我々の密集した政策は自己回帰学習能力に優れており、既存の全体的生成ポリシーを超越できることが示された。
論文 参考訳（メタデータ） (2025-03-17T14:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。