論文の概要: STARE-VLA: Progressive Stage-Aware Reinforcement for Fine-Tuning Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2512.05107v2
• Date: Tue, 23 Dec 2025 23:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:40.137355
• Title: STARE-VLA: Progressive Stage-Aware Reinforcement for Fine-Tuning Vision-Language-Action Models
• Title（参考訳）: STARE-VLA:ファインチューニング・ビジョン・ランゲージ・アクション・モデルのためのプログレッシブ・ステージ・アウェア強化
• Authors: Feng Xu, Guangyao Zhai, Xin Kong, Tingzhong Fu, Daniel F. N. Gordon, Xueli An, Benjamin Busam,
• Abstract要約: 本稿では,STARE(Stage-Aware Reinforcement)について述べる。 また、視覚・言語・アクション(VLA)モデルにおける動作精度を向上させるために、Imitation -> Preference -> Interaction (IPI)パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 23.313031858351028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Vision-Language-Action (VLA) models, powered by large language models and reinforcement learning-based fine-tuning, have shown remarkable progress in robotic manipulation. Existing methods often treat long-horizon actions as linguistic sequences and apply trajectory-level optimization methods such as Trajectory-wise Preference Optimization (TPO) or Proximal Policy Optimization (PPO), leading to coarse credit assignment and unstable training. However, unlike language, where a unified semantic meaning is preserved despite flexible sentence order, action trajectories progress through causally chained stages with different learning difficulties. This motivates progressive stage optimization. Thereby, we present Stage-Aware Reinforcement (STARE), a module that decomposes a long-horizon action trajectory into semantically meaningful stages and provides dense, interpretable, and stage-aligned reinforcement signals. Integrating STARE into TPO and PPO, we yield Stage-Aware TPO (STA-TPO) and Stage-Aware PPO (STA-PPO) for offline stage-wise preference and online intra-stage interaction, respectively. Further building on supervised fine-tuning as initialization, we propose the Imitation -> Preference -> Interaction (IPI), a serial fine-tuning pipeline for improving action accuracy in VLA models. Experiments on SimplerEnv and ManiSkill3 demonstrate substantial gains, achieving state-of-the-art success rates of 98.0 percent on SimplerEnv and 96.4 percent on ManiSkill3 tasks.
• Abstract（参考訳）: 大規模言語モデルと強化学習に基づく微調整を応用したVLA(Vision-Language-Action)モデルの最近の進歩は、ロボット操作の顕著な進歩を示している。 既存の手法では、長い水平動作を言語シーケンスとして扱うことが多く、トラジェクティブ・ワイド・プライオリティ最適化(TPO)やプロキシ・ポリシー・オプティマイゼーション(PPO)といったトラジェクティブレベルの最適化手法を適用し、粗いクレジット割り当てや不安定なトレーニングをもたらす。 しかし、フレキシブルな文順にもかかわらず統一意味が保存される言語とは異なり、行動軌跡は異なる学習困難を伴う因果連鎖段階を通して進行する。 これはプログレッシブステージ最適化を動機付けている。 そこで我々はSTARE(Stage-Aware Reinforcement)という,長期の行動軌跡を意味的に意味のある段階に分解し,高密度で解釈可能な,かつ段階的に整列した補強信号を提供するモジュールを提案する。 STAREをTPOとPPOに統合し,STA-TPO(Stage-Aware TPO)とSTA-PPO(Stage-Aware PPO)をそれぞれオフラインのステージワイドとオンラインのステージ間インタラクションに利用した。 さらに,教師付き微調整を初期化として構築し,VLAモデルの動作精度を向上させるためのシリアル微調整パイプラインであるImitation -> Preference -> Interaction (IPI)を提案する。 SimplerEnvとManiSkill3の実験は、SimplerEnvで98.0%、ManiSkill3タスクで96.4%という最先端の成功率を達成した。

関連論文リスト

• Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
  本稿では, 自己補正VLA (SC-VLA) を提案する。 SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
  論文  参考訳（メタデータ） (2026-02-25T06:58:06Z)
• ActionCodec: What Makes for Good Action Tokenizers [106.78093973045526]
  VLA(Vision-Language-Action)モデルでは、より優れた命令追従と訓練効率が示されている。 このパラダイムの中心はアクショントークン化であるが、その設計は主に再構築の忠実さに焦点を当てている。 我々は、トレーニング効率とVLA性能の両方を大幅に向上させる高性能なアクショントークンであるtextbfActionCodecを紹介する。
  論文  参考訳（メタデータ） (2026-02-17T07:07:15Z)
• BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation [14.657523625592658]
  VLA(Vision-Language-Action)モデルは通常、独立した言語計画や視覚予測に重点を置いている。 本研究では,言語計画,視覚予測,行動生成を統合した統一モデルBagelVLAを提案する。 大規模な実験により、BagelVLAは複数のシミュレーションおよび実世界のベンチマークで既存のベースラインを上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-02-10T14:54:01Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation [27.791908160098625]
  PALMは、インタラクション中心のアベイランス推論とサブタスクプログレスキューに関するポリシー学習を構築する。 Palmはシミュレーションや実世界の実験において、一貫してベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-01-11T21:00:58Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models [57.75717492488268]
  VLA(Vision-Language-Action)モデルは、大きな言語モデルを活用することで高度なロボット操作を行う。 Supervised Finetuning (SFT) では、タスク毎の数百のデモ、厳格に軌跡を記憶すること、デプロイメント条件がトレーニングから逸脱したときに適応できないことなどが求められている。 EVOLVE-VLA(EVOLVE-VLA)は、VLAが最小またはゼロのタスク固有のデモで環境相互作用を通じて継続的に適応できるテストタイムトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-12-16T18:26:38Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• PROPA: Toward Process-level Optimization in Visual Reasoning via Reinforcement Learning [30.44007644340425]
  本稿では,モンテカルロ木探索 (MCTS) とGRPOを統合した新しいフレームワーク PROPA について紹介する。 7つのベンチマークと4つのVLMバックボーンで、PROPAはSFTとRLVRベースのベースラインを一貫して上回っている。 ドメイン内タスクで最大17.0%、ドメイン外タスクで最大21.0%のゲインを達成する。
  論文  参考訳（メタデータ） (2025-11-13T13:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。