論文の概要: VGFM: Expressive Robot Policies via Dense Value Guidance in Flow Matching

• arxiv url: http://arxiv.org/abs/2609.14261v1
• Date: Sun, 13 Sep 2026 03:50:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.775274
• Title: VGFM: Expressive Robot Policies via Dense Value Guidance in Flow Matching
• Title（参考訳）: VGFM:フローマッチングにおけるDense Value Guidanceによる表現型ロボットポリシー
• Abstract要約: 本稿では,フローベースのポリシ内で高密度な値誘導型シェーピングを可能にする,スケーラブルなオフラインRLフレームワークを提案する。 VGFMは、アクション(x-述語)空間における条件付きフローマッチングモデルとしてポリシーをパラメータ化する。 本稿では,厳密な評価プロトコルの下で,VGFMが幅広いタスクに対して高い性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 2.7429630700600893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent robot learning paradigms increasingly rely on large offline datasets of robotic interactions to train control policies. Expressive generative models enable rich and multimodal action representations, expanding the capability of this paradigm for complex robotic control. However, policy improvement with multi-step generative actors remains challenging. In offline reinforcement learning (RL), incorporating value-based objectives along generative trajectories often introduces substantial training complexity, including backpropagation through time (BPTT), auxiliary architectures, or distillation losses. We propose Value-Guided Flow Matching (VGFM), a scalable offline RL framework that enables dense value-guided shaping within a flow-based policy while avoiding BPTT and additional algorithmic overhead. VGFM parameterizes the policy as a conditional flow-matching model in action (x-prediction) space, ensuring that each intermediate flow step produces a valid robot action that can be directly evaluated by a standard offline RL critic. This design allows value guidance to be applied at randomly sampled flow times without differentiating through the entire generative trajectory, while preserving inference-time flexibility by varying the discretization of the underlying flow ODE without retraining. Evaluated on robotic locomotion and manipulation tasks in OGBench, VGFM achieves strong performance across a wide range of tasks under rigorous evaluation protocols. With minimal hyperparameter tuning, these results demonstrate that VGFM provides a simple, scalable, and effective approach for expressive policy learning in long-horizon, goal-oriented robotic control.
• Abstract（参考訳）: 最近のロボット学習パラダイムは、制御ポリシーをトレーニングするために、ロボットインタラクションの大規模なオフラインデータセットにますます依存している。 表現的生成モデルはリッチかつマルチモーダルな行動表現を可能にし、複雑なロボット制御のためのこのパラダイムの能力を拡大する。 しかし、多段階生成アクターによる政策改善は依然として困難である。 オフライン強化学習(RL)では、生成軌道に沿って価値に基づく目的を組み込むことで、時間によるバックプロパゲーション(BPTT)、補助的アーキテクチャ、蒸留損失など、相当な訓練の複雑さが生じることが多い。 BPTTや追加のアルゴリズムオーバーヘッドを回避しつつ,フローベースのポリシ内で高密度な値誘導型シェーピングを可能にする,スケーラブルなオフラインRLフレームワークであるValue-Guided Flow Matching (VGFM)を提案する。 VGFMは、アクション(x-述語)空間における条件付きフローマッチングモデルとしてポリシーをパラメータ化し、各中間フローステップが標準のオフラインRL批評家によって直接評価可能な有効なロボットアクションを生成する。 この設計により、生成軌道全体を微分することなく無作為なサンプルフロー時間で値ガイダンスを適用でき、また、下層のフローODEの離散化を調整せずに変化させることで、推論時の柔軟性を保っている。 OGBenchにおけるロボットの移動と操作タスクの評価を行い、厳密な評価プロトコルの下で、VGFMは幅広いタスクにわたって高い性能を達成している。 極小パラメータチューニングにより、VGFMは、長期的目標指向ロボット制御において、表現的ポリシー学習にシンプルでスケーラブルで効果的なアプローチを提供することを示した。

関連論文リスト

• RoMAN-Flow: Taming Autoregressive Normalizing Flows for Offline Reinforcement Learning in Robotic Manipulation [36.16163751472016]
  オフライン強化学習フレームワークは、ロボット操作にAR-NFポリシーを実用的なものにする。 RoMAN-Flowはサンプリング不要で有利な可能性の目標を採用している。 シミュレーションされた操作ベンチマークと実世界のロボットプラットフォームによる実験は、RoMAN-Flowが競合ポリシーのパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2026-08-20T16:07:56Z)
• Learning Object Manipulation from Scratch via Contrastive Interaction [29.976379315147756]
  コントラスト強化学習(CRL)は、動的に構造化された表現を学習することで、様々な目標条件のロボットタスクで最近成功している。 この困難の鍵となる要因は、接触や握りなどのオブジェクト中心の相互作用であり、基礎となる動的モードの異なる変化を誘発するものである、と我々は主張する。 本研究では, 操作力学を平滑なマルコフ過程として定式化し, 相互作用誘起モード変化が非線形到達性構造を生成することを示す。
  論文  参考訳（メタデータ） (2026-06-10T00:06:24Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• V-GRPO: Online Reinforcement Learning for Denoising Generative Models Is Easier than You Think [90.69263509098948]
  本稿では,ELBOをベースとしたサロゲートとグループ相対ポリシー最適化アルゴリズムを統合した変分GRPOを提案する。 V-GRPOはテキストと画像の合成において最先端のパフォーマンスを実現し、MixGRPOよりも2倍のスピードアップ、DiffusionNFTより3倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-04-25T17:03:21Z)
• Drift-Based Policy Optimization: Native One-Step Policy Learning for Online Robot Control [42.5826210330077]
  多段階生成ポリシーは、多モード動作分布をモデル化することにより、ロボット操作において強力な性能を達成する。 各アクションは、数十から数百のネットワーク機能評価を必要とする。 本稿では,改良を推論からトレーニングにシフトさせる,ネイティブなワンステップ生成ポリシーのための2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-04T01:32:01Z)
• RC-NF: Robot-Conditioned Normalizing Flow for Real-Time Anomaly Detection in Robotic Manipulation [68.7948300643741]
  ロボットの異常検出と介入をリアルタイムに監視するロボット・コンディションド・ノーマライゼーション・フロー(RC-NF)を提案する。 RC-NFは、正規化フロー内のタスク認識ロボットとオブジェクト状態の処理を分離する。 従来のロボットタスクの監視方法と比較して、あらゆる異常なタイプで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-11T10:14:37Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• CoLA-Flow Policy: Temporally Coherent Imitation Learning via Continuous Latent Action Flow Matching for Robotic Manipulation [4.726851899243877]
  LG-Flow Policyは、連続的な潜在アクション空間でフローマッチングを実行する軌道レベルの模倣学習フレームワークである。 動作シーケンスを時間的に規則化された潜在軌道に符号化し、明示的な潜在空間の流れを学習することにより、提案手法は低レベル制御ノイズからグローバルな運動構造を分離する。
  論文  参考訳（メタデータ） (2026-01-30T15:36:43Z)
• Large Language Model-Empowered Decision Transformer for UAV-Enabled Data Collection [71.84636717632206]
  空間分散デバイスからの信頼性とエネルギー効率のよいデータ収集のための無人航空機(UAV)は、IoT(Internet of Things)アプリケーションをサポートする上で大きな可能性を秘めている。 有効なUAV制御ポリシーを学習するための共同言語モデル(LLM)を提案する。 LLM-CRDTは、現在の最先端DTアプローチよりも最大36.7%高いエネルギー効率を達成し、オンラインおよびオフラインメソッドのベンチマークより優れている。
  論文  参考訳（メタデータ） (2025-09-17T13:05:08Z)
• CARP: Visuomotor Policy Learning via Coarse-to-Fine Autoregressive Prediction [28.761494362934087]
  Coarse-to-Fine AutoRegressive Policy (CARP) は、視覚的政策学習のための新しいパラダイムである。 自己回帰行動生成プロセスを再定義し、粗大で、次のスケールのアプローチとする。 CARPは競争の成功率を最大10%改善し、最先端のポリシーに比べて10倍高速な推論を提供する。
  論文  参考訳（メタデータ） (2024-12-09T18:59:18Z)
• Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression [53.33734159983431]
  本稿では, ニューラルRLポリシをより解釈可能な形式に蒸留する新しい手法を提案する。 我々は、RLを用いて専門家のニューラルネットワークポリシーを訓練し、(i)GBM、(ii)EBM、(iii)シンボリックポリシーに蒸留する。
  論文  参考訳（メタデータ） (2024-03-21T11:54:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。