論文の概要: Improving Vision-Language-Action Model Fine-Tuning with Structured Stage and Keyframe Supervision
- arxiv url: http://arxiv.org/abs/2606.26801v1
- Date: Thu, 25 Jun 2026 09:38:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.228569
- Title: Improving Vision-Language-Action Model Fine-Tuning with Structured Stage and Keyframe Supervision
- Title（参考訳）: 構造ステージとキーフレームのスーパービジョンによるビジョンランゲージ・アクションモデルファインチューニングの改善
- Abstract要約: StaKeはVision-Language-Action(VLA)モデルのプラグイン補助監視フレームワークである。
手動のアノテーションなしで、デモグリップ状態から2つの補完信号を自動的に導き出す。
バイマニュアルシミュレーションとシングルアームのFranka実ロボットタスクの実験は、StaKeが一貫して成功率を改善することを示している。
- 参考スコア（独自算出の注目度）: 17.146970845728813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have shown strong potential for generalizable robotic manipulation. During fine-tuning, however, action supervision applies equally across all timesteps, without structured supervision on which manipulation stage the robot is in or what the next gripper-event target should be. This causes failures to concentrate around challenging gripper-event transitions. To address this, we propose StaKe, a plug-in auxiliary supervision framework that automatically derives two complementary signals from demonstration gripper states without manual annotation: a stage classifier that identifies the current manipulation stage, and a keyframe predictor that estimates the target joint action at the next gripper transition. Both are modeled as lightweight auxiliary heads that enrich the learned representations during training, while leaving the base VLA policy architecture and inference loop unchanged. Experiments on bimanual simulation and single-arm Franka real-robot tasks show that StaKe consistently improves success rates (relative gains of 14% and 56%, respectively), with larger improvements on longer-horizon tasks that involve more gripper-event transitions. Ablation studies validate each design choice, and qualitative analysis confirms that the learned representations faithfully track manipulation stages. These results indicate that structured supervision is an effective and general strategy for enhancing VLA fine-tuning in long-horizon manipulation. Project website: https://hi-yuanxu.github.io/StaKe-Web/
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、一般化可能なロボット操作の強力な可能性を示している。
しかし、微調整中は、ロボットがどの操作段階にあるか、あるいは次のグリップ・アンセット・ターゲットが何であるかを、構造化された監督なしに、すべてのタイムステップにわたって、アクション・インスペクションが等しく適用される。
これにより、障害はグリップ・アベント・トランジションの挑戦に集中する。
そこで本研究では,手動アノテーションを使わずにデモグリップ状態から2つの補完信号を自動的に導出するプラグイン補助監視フレームワークであるStaKeと,次のグリップ遷移時の目標関節動作を推定するキーフレーム予測器を提案する。
どちらも、トレーニング中に学習した表現を豊かにする軽量な補助ヘッドとしてモデル化され、ベースとなるVLAポリシーアーキテクチャと推論ループは変わらない。
バイマニュアルシミュレーションとシングルアームのFranka実ロボットタスクの実験は、StaKeが一貫して成功率(それぞれ14%と56%の相対的な増加)を改善し、よりグリッパー・エアー・トランジションを含む長時間のタスクを大きく改善していることを示している。
アブレーション研究は、それぞれの設計選択を検証し、定性的解析により、学習された表現が操作段階を忠実に追跡することを確認した。
これらの結果から,構造的監督は長期操作におけるVLA微調整の効率化に有効かつ汎用的な戦略であることが示唆された。
プロジェクトサイト:https://hi-yuanxu.github.io/StaKe-Web/
関連論文リスト
- ABot-M0.5: Unified Mobility-and-Manipulation World Action Model [27.262271208923995]
ABot-M0.5は、モバイル操作には時間的粒度、アクションスペース、列車-テスト整合性の3段階のアライメントが必要であるという洞察に基づいて構築されている。
モバイルおよびきめ細かい操作ベンチマークの実験により、ABot-M0.5は、長距離タスクの成功ときめ細かい制御精度の両方において最先端の性能を達成することが示された。
論文 参考訳（メタデータ） (2026-07-01T09:21:20Z) - World Pilot: Steering Vision-Language-Action Models with World-Action Priors [21.867210989881016]
Vision-Language-Action(VLA)モデルは、大規模な事前トレーニングからセマンティックグラウンドを継承する。
World Pilotは、World-Action Model(WAM)の事前設定でポリシーを強化する
World PilotはLIBERO-PlusゼロショットOODベンチマークで84.7%という最先端のトータル成功率を達成した。
論文 参考訳（メタデータ） (2026-06-10T17:59:08Z) - Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。
このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。
本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
論文 参考訳（メタデータ） (2026-06-07T08:57:51Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-04T13:28:51Z) - AttenA+: Rectifying Action Inequality in Robotic Foundation Models [38.61160855341111]
本稿では,速度駆動型アクションアテンションを通じて,運動学的に重要なセグメントを優先するアーキテクチャに依存しないフレームワークであるAttenA+を紹介する。
我々の研究は、本質的な行動列の構造的前提をマイニングすることが、標準的なスケーリング法則に非常に効率的で物理学的な補完をもたらすことを示唆している。
論文 参考訳（メタデータ） (2026-05-13T13:55:37Z) - See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
本稿では,See, Plan, Rewind (SPR)について紹介する。
SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。
SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
論文 参考訳（メタデータ） (2026-03-10T07:22:51Z) - BFA++: Hierarchical Best-Feature-Aware Token Prune for Multi-View Vision Language Action Model [44.72361174037017]
VLA(Vision-Language-Action)モデルは、VLM(Large Vision Language Models)を利用して、命令と視覚入力を共同で解釈することで、大きなブレークスルーを達成した。
視覚トークンの大幅な増加、特にマルチビュー入力は、リアルタイムロボット操作に深刻な課題をもたらす。
VLAモデルに特化して設計された動的トークンプルーニングフレームワークであるBFA++を提案する。
論文 参考訳（メタデータ） (2026-02-24T05:31:52Z) - CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。
CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。
本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-07T16:26:33Z) - EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models [57.75717492488268]
VLA(Vision-Language-Action)モデルは、大きな言語モデルを活用することで高度なロボット操作を行う。
Supervised Finetuning (SFT) では、タスク毎の数百のデモ、厳格に軌跡を記憶すること、デプロイメント条件がトレーニングから逸脱したときに適応できないことなどが求められている。
EVOLVE-VLA(EVOLVE-VLA)は、VLAが最小またはゼロのタスク固有のデモで環境相互作用を通じて継続的に適応できるテストタイムトレーニングフレームワークである。
論文 参考訳（メタデータ） (2025-12-16T18:26:38Z) - iFlyBot-VLA Technical Report [25.330744626382977]
iFlyBot-VLA(iFlyBot-VLA)は、新しいフレームワークでトレーニングされた大規模ビジョン・ランゲージ・アクション(VLA)モデルである。
主なコントリビューションは,(1)大規模人体とロボットの操作映像を徹底的に訓練した潜在行動モデル,(2)視覚言語モデル(VLM)と訓練中のアクションエキスパートを協調的に監督する2段階の行動表現フレームワーク,(3)ロボット軌道データと一般的なQAデータセットと空間QAデータセットを組み合わせた混合トレーニング戦略である。
論文 参考訳（メタデータ） (2025-11-01T06:24:56Z) - Action-aware Dynamic Pruning for Efficient Vision-Language-Action Manipulation [27.007611140797852]
既存の手法では、VLAモデル内の視覚的冗長性を低減し、推論速度を最適化する。
textbfAction-aware textbfDynamic textbfPruning (textbfADP)を提案する。
論文 参考訳（メタデータ） (2025-09-26T09:13:02Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳（メタデータ） (2025-06-24T17:30:27Z) - CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。
視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。
実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
論文 参考訳（メタデータ） (2025-03-27T22:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。