論文の概要: VINE: Taming Generative Control Policies for Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2607.10369v1
- Date: Sat, 11 Jul 2026 15:45:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.404517
- Title: VINE: Taming Generative Control Policies for Reinforcement Learning
- Title（参考訳）: VINE:強化学習のための生成制御ポリシーのモデリング
- Abstract要約: フローマッチングポリシは、ロボット学習のための効果的なポリシーパラメータ化として現れている。
従来の研究では、これらのポリシーをRL(Value-gradient reinforcement learning)でスケールすることは、しばしばトレーニングの不安定性につながる。
本稿では,フローマッチングポリシに対して,安定したエンドツーエンドの値勾配最適化を実現するRL指向サンプリング手法であるVINEを提案する。
- 参考スコア（独自算出の注目度）: 13.904046574218567
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flow-matching policies have emerged as an effective policy parameterization for robot learning. They iteratively generate actions from noise, enabling highly expressive modeling of complex and multimodal action distributions. However, prior works observed that scaling these policies with value-gradient reinforcement learning (RL) often leads to training instability. Existing methods attribute this instability to iterative generation and therefore avoid end-to-end value-gradient optimization by sacrificing iterative generation, high expressiveness, or value-gradient optimization. Contrary to prior belief, we show the instability does not stem from iterative generation itself, but from the vanilla sampling strategy originally designed for behavior cloning, which becomes brittle under value-gradient RL. Motivated by this insight, we propose VINE, an RL-oriented sampling method that enables stable end-to-end value-gradient optimization for flow-matching policies. Instead of following a single flow trajectory, VINE reconstructs a new interpolation state at every denoising step, creating a stable differentiable path for value-gradient propagation while remaining compatible with the original flow-matching denoising process. As a result, VINE preserves the expressiveness and iterative generation of flow-matching without sacrificing end-to-end value-gradient optimization. Despite performing end-to-end backpropagation through all ten denoising steps, VINE achieves stable policy improvement and consistently outperforms state-of-the-art RL methods on the OGBench offline RL benchmark and real-world robotic manipulation task. Videos are available on our website: https://agibottech.github.io/vine.
- Abstract（参考訳）: フローマッチングポリシは、ロボット学習のための効果的なポリシーパラメータ化として現れている。
ノイズから繰り返しアクションを生成し、複雑かつ多モードなアクション分布の高度に表現力のあるモデリングを可能にする。
しかし、事前の研究では、これらのポリシーをRL(Value-gradient reinforcement learning)でスケールすることは、しばしばトレーニングの不安定性につながることが観察された。
既存の手法では、この不安定性は反復生成に起因しているため、反復生成、高表現性、または値勾配最適化を犠牲にすることで、エンドツーエンドの値勾配最適化を避けることができる。
従来の信念とは対照的に、不安定性は反復生成自体に起因するものではなく、もともとは行動クローニングのために設計されたバニラサンプリング戦略から生じるものである。
そこで本研究では,フローマッチングポリシに対して,安定したエンドツーエンドの値勾配最適化を実現するRL指向サンプリング手法であるVINEを提案する。
単一のフロー軌跡に従う代わりに、VINEは各デノナイジングステップで新しい補間状態を再構築し、元のフローマッチング・デノナイジングプロセスと互換性を維持しながら、値を段階的に伝播する安定な微分可能なパスを生成する。
その結果、VINEは、エンドツーエンドの値-勾配最適化を犠牲にすることなく、フローマッチングの表現性と反復的な生成を保ちます。
10ステップすべてを通じてエンドツーエンドのバックプロパゲーションを実行するにもかかわらず、VINEは安定したポリシー改善を実現し、OGBenchのオフラインRLベンチマークと実世界のロボット操作タスクで最先端のRLメソッドを一貫して上回っている。
ビデオは当社のWebサイト(https://agibottech.github.io/vine.com)で公開されている。
関連論文リスト
- Dynamic Important Example Mining for Reinforcement Finetuning [53.98969373888718]
強化微調整 (Reinforcement fine-tuning, RFT) は、大型モデルの推論能力を高めるためにますます用いられる。
ほとんどのデータ中心のRFTメソッドは静的またはサンプルの選択に依存しており、サンプルの値がトレーニング中に固定されていることを暗黙的に仮定している。
RFT 全体にわたってデータ利用を適応させる,原則的かつ完全に自動化されたフレームワークである Dynamic important Example Mining (DIEM) を提案する。
論文 参考訳（メタデータ） (2026-08-29T13:12:25Z) - IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。
IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。
政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文 参考訳（メタデータ） (2026-08-11T08:20:02Z) - QPILOTS: Efficient Test-Time Q-Steering for Flow Policies [20.217020870532686]
QPILOTSは、元のポリシーを変更せずに、推論時にデノナイジングプロセスを操る方法である。
標準のオフライン-オンラインRLベンチマークでは、QPILOTSが最高の集計性能を達成し、50タスクで平均90%の成功率に達する。
論文 参考訳（メタデータ） (2026-06-11T18:22:03Z) - Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。
テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。
実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
論文 参考訳（メタデータ） (2026-06-09T16:45:57Z) - Q-VGM: Q-Guided Value-Gradient Matching for Flow-Matching VLA Policies [14.519898493996891]
本稿では,Q-Guided Value-Gradient Matching (Q-VGM) を法外強化学習(RL)法として提案する。
Q-VGMは、生成モデルにおけるフローアライメントの値勾配ビューであるVGG-Flowを活用することで問題を回避している。
LIBEROでは、Q-VGMが75.0%から92.5%に、RoboTwin 2.0では76.4%から87.2%に、実際の2つのテーブルトップタスクでは40.0%から67.5%に上昇している。
論文 参考訳（メタデータ） (2026-06-06T07:10:25Z) - Q-learning with Adjoint Matching [58.78551025170267]
本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。
QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。
オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
論文 参考訳（メタデータ） (2026-01-20T18:45:34Z) - DeFlow: Decoupling Manifold Modeling and Value Maximization for Offline Policy Extraction [4.558338633638409]
本稿では、フローマッチングを利用して複雑な振る舞い多様体を忠実にキャプチャする、分離されたオフラインRLフレームワークであるDeFlowを紹介する。
フロー多様体の明示的でデータ由来の信頼領域内で,軽量な精細化モジュールを学習することにより,この問題に対処する。
DeFlowは、挑戦的なOGBenchベンチマークで優れたパフォーマンスを実現し、オフラインからオンラインへの効率的な適応を実証している。
論文 参考訳（メタデータ） (2026-01-15T14:56:57Z) - Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。
提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
論文 参考訳（メタデータ） (2025-05-08T17:58:45Z) - Iterative Amortized Policy Optimization [147.63129234446197]
政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。
変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。
我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
論文 参考訳（メタデータ） (2020-10-20T23:25:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。