論文の概要: Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2606.31846v1
- Date: Tue, 30 Jun 2026 15:46:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.29162
- Title: Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models
- Title（参考訳）: Z-1:ビジョンランゲージ・アクションモデルのための効率的な強化学習(Z-1.情報ネットワーク,一般セッション)
- Abstract要約: 本稿では,フローベースVLAモデルのための強化学習(RL)後学習フレームワークZ-1を提案する。
Z-1 は SFT で公開された RoboCasa のデモのみを使用し、24ドルの RoboCasa タスクに対してタスクワイドな Group Relative Policy 戦略を適用している。
- 参考スコア（独自算出の注目度）: 9.001452420505068
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action (VLA) models offer a promising framework for robotic manipulation by connecting language instructions, visual observations, and continuous control. However, most existing policies remain limited by behavior cloning or supervised fine-tuning (SFT) from fixed demonstrations, which provides limited opportunity to improve from the policy's own failures. In this paper, we present Z-1, a reinforcement learning (RL) post-training framework for flow-based VLA models. Built on top of $π_{0.5}$, Z-1 uses only publicly released RoboCasa demonstrations for SFT and then applies a task-wise Group Relative Policy Optimization (GRPO) strategy across $24$ standard RoboCasa tasks. To improve the efficiency and stability of online optimization, Z-1 combines shared-prefix rollout construction, tree-structured trajectory branching, completion-aware reward calibration, and selective joint training of VLM and Action Expert. Across all $24$ RoboCasa tasks, Z-1 achieves an average success rate of $80.6\%$, improving over its SFT initialization by $13.2\%$ points and outperforms the published sota models. These results show that systematic GRPO post-training can substantially improve flow-based VLA policies without additional private demonstrations.
- Abstract（参考訳）: Vision-Language-Action(VLA)モデルは、言語命令、視覚的観察、継続的な制御を接続することで、ロボット操作のための有望なフレームワークを提供する。
しかし、既存のほとんどのポリシーは、固定されたデモから行動のクローン化や監督された微調整(SFT)によって制限され続けており、政策自体の失敗から改善する機会は限られている。
本稿では,フローベースVLAモデルのための強化学習(RL)後学習フレームワークZ-1を提案する。
π_{0.5}$の上に構築されたZ-1は、SFT向けに公開されたRoboCasaのデモのみを使用し、24ドルの標準RoboCasaタスクに対して、タスクワイドなグループ相対ポリシー最適化(GRPO)戦略を適用している。
オンライン最適化の効率性と安定性を向上させるため、Z-1は、共有プレフィックスのロールアウト構築、ツリー構造化された軌道分岐、完成対応報酬校正、VLMとAction Expertの選択的共同トレーニングを組み合わせた。
24ドルのRoboCasaタスク全体で、Z-1は80.6 %$の平均的な成功率を達成し、SFTの初期化を13.2 %$ポイント改善し、発行されたソータモデルを上回っている。
これらの結果から,系統的なGRPOポストトレーニングは,追加のプライベートなデモンストレーションを伴わずに,フローベースのVLAポリシーを大幅に改善できることが示唆された。
関連論文リスト
- VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models [18.46719160646894]
事前訓練された視覚言語アクション(VLA)モデルは広い操作を可能にするが、精度と再現性を必要とするタスクでは信頼性が保たれる。
実世界のオンライン強化学習(RL)をVLAポストトレーニングに適用することで、デモだけでなく、自律的な試行錯誤の改善が可能になる。
Asymmetric Co-BootstrappingアルゴリズムとACoB-Streamアーキテクチャを特徴とする,効率的な実世界のオンラインRLフレームワークであるVLA-Precisionを提案する。
論文 参考訳（メタデータ） (2026-09-03T18:19:36Z) - Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models [120.24139942108405]
ロボットデータのスケーリングは、一般のVision-Language-Action(VLA)モデルを構築する上で重要である。
固定されたロボットデータ予算の下では、継続した事前訓練は限られた軌道を伝達可能な視覚行動知識に変換する必要がある。
本稿では,VLA指向のVLMバックボーンであるVLActを提案する。
論文 参考訳（メタデータ） (2026-08-27T17:59:40Z) - SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation [57.131411215593744]
ロングホライゾン操作のための微調整視覚言語アクション(VLA)ポリシーは、依然として行動クローニングに大きく依存している。
本稿では,MMOE(Multi-gate Mixture-of-Experts)値ヘッドとアクションプリミティブベースのステージ推定器を組み合わせたマルチタスクステージ認識報酬モデルRMを紹介する。
RM 上に構築した SPIRAL は,安価で自律的なロールアウトから VLA ポリシーを改善する,政治上の報酬誘導型フレームワークである。
論文 参考訳（メタデータ） (2026-06-09T01:46:23Z) - EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。
本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。
我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
論文 参考訳（メタデータ） (2026-05-25T06:31:03Z) - A1: A Fully Transparent Open-Source, Adaptive and Efficient Truncated Vision-Language-Action Model [112.9420001646428]
VLA(Vision-Language-Action)モデルは、オープンワールドロボット操作の強力なパラダイムとして登場したが、実際の展開はコストに制約されることが多い。
我々は、低コストで高スループットな推論のために設計された、完全にオープンソースで透明なVLAフレームワークであるA1を提示する。
A1は最先端の成功率を達成すると同時に、推論コストを大幅に削減する。
論文 参考訳（メタデータ） (2026-04-07T10:18:40Z) - Generalizable Dense Reward for Long-Horizon Robotic Tasks [10.301325532021218]
VLM(Vision-Language Models)は、タスクを検証可能なサブタスクに分解する。
自己確実性は、PPOファインタニング全体を通じてステップごとの本質的なガイダンスを提供する。
CHORESベンチマークでは、VLLRは事前訓練されたポリシーよりも最大56%の絶対的な成功率を達成する。
論文 参考訳（メタデータ） (2026-03-31T02:05:07Z) - VLA-R1: Enhancing Reasoning in Vision-Language-Action Models [35.264042764326895]
VLA(Vision-Language-Action)モデルは、知覚、言語理解、行動生成を統一することを目的としている。
現在のVLAモデルは、しばしば明示的なステップバイステップ推論を欠いている。
本稿では,検証リワードからの強化学習を統合した推論強化VLAであるVLA-R1を提案する。
論文 参考訳（メタデータ） (2025-10-02T02:54:03Z) - Interactive Post-Training for Vision-Language-Action Models [28.32397816792674]
RIPT-VLAは、シンプルでスケーラブルな強化学習に基づくインタラクティブなポストトレーニングパラダイムである。
RIPT-VLAファインチューンで訓練されたビジョン・ランゲージ・アクション(VLA)モデルは、わずかに二進的な成功報酬のみを使用する。
1つのデモだけで、RIPT-VLAは15イテレーションで97%の成功率で作業不能なSFTモデルを成功させることができる。
論文 参考訳（メタデータ） (2025-05-22T17:59:45Z) - FLARE: Robot Learning with Implicit World Modeling [87.81846091038676]
$textbfFLARE$は、予測潜在世界モデリングをロボットポリシー学習に統合する。
$textbfFLARE$は最先端のパフォーマンスを実現し、これまでのポリシー学習のベースラインを最大26%上回っている。
この結果は、暗黙の世界モデリングと高周波ロボット制御を組み合わせた汎用的でスケーラブルなアプローチとして$textbfFLARE$を確立した。
論文 参考訳（メタデータ） (2025-05-21T15:33:27Z) - Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success [100.226572152954]
視覚言語アクションモデル(VLA)のための最適化された微調整レシピを提案する。
われわれのレシピはOpenVLAの4つのタスクスイートの平均成功率を76.5%から97.1%に引き上げ、アクション生成のスループットを26$times$に向上させた。
実世界の評価において、我々の微調整のレシピにより、OpenVLAはバイマガルALOHAロボット上でデクスタラスで高周波な制御タスクをうまく実行することができる。
論文 参考訳（メタデータ） (2025-02-27T00:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。