論文の概要: Online Evolution Strategy for Flow-Matching VLA Policies via Self-Supervised Trajectory Distribution Optimization
- arxiv url: http://arxiv.org/abs/2609.38855v1
- Date: Wed, 30 Sep 2026 03:14:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.068319
- Title: Online Evolution Strategy for Flow-Matching VLA Policies via Self-Supervised Trajectory Distribution Optimization
- Title（参考訳）: 自己最適化軌道分布最適化によるフローマッチングVLAポリシのオンライン進化戦略
- Abstract要約: フローマッチングに基づくビジョン・ランゲージ・アクション(VLA)モデルのためのオンライン適応フレームワークであるOnline-ESを提案する。
オンラインESは、インタラクションフィードバックを通じて学習された行動軌跡分布を洗練する。
シミュレーションと実環境の両方の実験では、オンラインESが強化微調整に匹敵する政策改善を達成している。
- 参考スコア（独自算出の注目度）: 5.524313339074645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models based on generative frameworks, such as Flow Matching, have recently achieved impressive performance in robotic manipulation. Unlike deterministic policies, Flow Matching enables VLA models to learn conditional action trajectory distributions, where latent noise vectors induce different actions under the same task scenario. However, we observe that these distributions are often ill-formed, with successful and failed behaviors coexisting while considerable probability mass remains in unfavorable regions. To this end, we propose Online-ES, an online adaptation framework for Flow Matching VLAs based on Evolution Strategy (ES), which refines the learned action trajectory distribution through interaction feedback. Instead of pruning the latent noise space, our method performs evolutionary exploration directly in the action trajectory space, where diverse trajectories generated by Flow Matching provide candidate solutions for adaptation. By perturbing sampled trajectories and evaluating their execution outcomes, we derive a self-supervised MSE objective that transfers the evolution direction from trajectory space into model parameter space. Mathematically, we prove that the proposed objective provides an unbiased estimator of the optimal evolution direction. Moreover, we also incorporate failure experiences as negative feedback to regularize the evolution direction, steering the policy away from previously explored failure regions. Experiments in both simulation and real-world environments demonstrate that Online-ES achieves policy improvement comparable to reinforcement fine-tuning, without learning a value model or computing advantages.
- Abstract（参考訳）: Flow Matchingのような生成フレームワークをベースとしたVision-Language-Action(VLA)モデルは、最近、ロボット操作において印象的なパフォーマンスを達成した。
決定論的ポリシーとは異なり、Flow MatchingはVLAモデルで条件付き動作軌跡分布を学習し、遅延ノイズベクトルは同じタスクシナリオ下で異なる動作を誘導する。
しかし、これらの分布はしばしば不整形であり、成功し、失敗した行動は共存するが、かなりの確率質量は好ましくない領域に残っている。
この目的のために,進化戦略(ES)に基づくフローマッチングVLAのオンライン適応フレームワークであるOnline-ESを提案する。
提案手法は遅延雑音空間を刈り取る代わりに,フローマッチングによって発生する多様な軌道が適応の候補となる動作軌跡空間で直接進化探索を行う。
サンプル軌道を摂動し,その実行結果を評価することにより,軌道空間からモデルパラメータ空間へ進化方向を伝達する自己教師付きMSE目標を導出する。
数学的には、提案した目的が最適な進化方向の偏りのない推定器を提供することを証明している。
さらに、障害経験を負のフィードバックとして取り入れて、進化方向を規則化し、以前に検討した障害領域から方針を逸脱させます。
シミュレーションと実環境の両方の実験により、Online-ESは、価値モデルやコンピューティングの利点を学ぶことなく、強化された微調整に匹敵するポリシー改善を実現していることが示された。
関連論文リスト
- IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。
IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。
政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文 参考訳（メタデータ） (2026-08-11T08:20:02Z) - From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。
敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。
実験の結果、最大40.6%のトレーニングステップが短縮された。
論文 参考訳（メタデータ） (2026-06-12T02:13:55Z) - Model-Driven Policy Optimization in Differentiable Simulators via Stochastic Exploration [2.062593640149623]
微分可能な計画法は、システム力学の微分可能なモデルを活用することにより、決定問題の勾配に基づく最適化を可能にする。
本稿では,モデル駆動型政策最適化(MDPO)を提案する。
論文 参考訳（メタデータ） (2026-05-08T09:52:25Z) - Boosting Vision-Language-Action Finetuning with Feasible Action Neighborhood Prior [20.92774693812594]
現実世界のロボット操作では、州は一般的にほぼ等価な行動の地区を認める。
モデル出力分布をFANの幾何と整合させるFAN誘導正規化器を提案する。
論文 参考訳（メタデータ） (2026-04-02T03:30:43Z) - Active Flow Matching [14.437387789022354]
アクティブフローマッチング(AFM)は、フローに沿った条件付きエンドポイント分布を操作するための変動目的を再構成する。
我々は、自己正規化重要度サンプリングを用いて、前方および逆のKullback-Leibler(KL)変異を導出する。
論文 参考訳（メタデータ） (2026-03-01T02:50:07Z) - Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。
連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。
複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
論文 参考訳（メタデータ） (2026-02-04T05:37:09Z) - PACEvolve: Enabling Long-Horizon Progress-Aware Consistent Evolution [64.15555230987222]
PACEvolveはエージェントのコンテキストと検索ダイナミクスを堅牢に管理するように設計されたフレームワークである。
PACEvolveは、一貫性のある長期自己改善のための体系的なパスを提供する。
論文 参考訳（メタデータ） (2026-01-15T18:25:23Z) - Aligning Latent Spaces with Flow Priors [72.24305287508474]
本稿では,学習可能な潜在空間を任意の目標分布に整合させるための新しいフレームワークを提案する。
特に,提案手法は計算コストの高い確率評価を排除し,最適化時のODE解決を回避する。
論文 参考訳（メタデータ） (2025-06-05T16:59:53Z) - Decision Flow Policy Optimization [53.825268058199825]
生成モデルは、複雑なマルチモーダルな動作分布を効果的にモデル化し、連続的な動作空間において優れたロボット制御を実現することができることを示す。
従来の手法は通常、データセットからの状態条件付きアクション分布に適合する振る舞いモデルとして生成モデルを採用する。
マルチモーダルな行動分布モデリングとポリシー最適化を統合した統合フレームワークDecision Flowを提案する。
論文 参考訳（メタデータ） (2025-05-26T03:42:20Z) - Multi-Objective Decision Transformers for Offline Reinforcement Learning [7.386356540208436]
オフラインRLは、リアルタイム環境相互作用を必要とせずに、静的な軌道データからポリシーを導出するように構成されている。
オフラインRLを多目的最適化問題として再構成し、予測を状態と戻り値に拡張する。
D4RLベンチマークロコモーションタスクの実験により,提案手法がトランスモデルにおけるアテンションメカニズムをより効果的に活用できることが判明した。
論文 参考訳（メタデータ） (2023-08-31T00:47:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。