論文の概要: SCULPT-VLA: Learning Structured Control through Staged Action Grounding
- arxiv url: http://arxiv.org/abs/2609.23275v1
- Date: Sun, 20 Sep 2026 01:13:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 16:53:23.013205
- Title: SCULPT-VLA: Learning Structured Control through Staged Action Grounding
- Title(参考訳): SCULPT-VLA:Staged Action Groundingによる構造化制御の学習
- Abstract要約: textbfSCULPT-VLAは,段階的行動接地を通して構造化制御を学習する政策である。
SimplerEnv-WidowXでは、最終成功率は83.5%であり、Stage-IIアクション学習が視覚と言語に直接アクセスする場合は71.3%である。
- 参考スコア(独自算出の注目度): 27.491639887254596
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) policies increasingly incorporate structured intermediate supervision beyond action labels. Yet specifying what an intermediate representation should encode leaves open how action prediction learns to depend on it. We introduce \textbf{SCULPT-VLA}, a policy that learns structured control through staged action grounding. Its action-conditioning state comprises complementary factors for task progression, scene dynamics, and spatial grounding. Training first forms these factors with teacher scaffolds, then grounds coarse action prediction through their composition as scaffold inputs are withdrawn. Direct perceptual access is subsequently restored for continuous refinement, combining the learned state with perceptual detail. The curriculum separates learning to condition actions on structure from refining continuous control. Deployment requires neither teachers nor discrete-action autoregression. SCULPT-VLA achieves higher average success than shared-backbone baselines on LIBERO, SimplerEnv-WidowX, and RoboTwin 2.0 Full. On SimplerEnv-WidowX, final success is 83.5\%, versus 71.3\% when Stage-II action learning directly accesses vision and language. Across four physical robot tasks, average success under the tested distribution shifts reaches 58.1\%, compared with 45.6\% for $π_{0.5}$. Training ablations and factor-wise interventions support the staged design and show that the learned state continues to contribute to control after direct perceptual access is restored.
- Abstract(参考訳): ヴィジュアル・ランゲージ・アクション(VLA)ポリシーは、アクション・ラベルを超えた構造化中間監督を取り入れている。
しかし、中間表現がエンコードすべきものを指定することは、アクション予測がそれに依存するように学習する方法をオープンにする。
本稿では,段階的行動接地を通して構造化制御を学習する政策である「textbf{SCULPT-VLA}」を紹介する。
アクションコンディショニング状態は、タスク進行、シーンダイナミクス、空間接地を補完する要因を含む。
学習はまずこれらの要素を教師の足場で形成し、足場入力が取り除かれると、その構成を通してアクション予測を粗くする。
直接知覚アクセスは、学習した状態と知覚の詳細を組み合わせることで、継続的な改善のために復元される。
このカリキュラムは、学習を、構造に対する条件アクションと連続的な制御の精製とを分離する。
展開には教師も個別の自己回帰も必要としない。
SCULPT-VLAは、LIBERO、SimplerEnv-WidowX、RoboTwin 2.0 Fullの共有バックボーンベースラインよりも平均的な成功を達成する。
SimplerEnv-WidowX では、最終成功率は 83.5\% であり、Stage-II アクション学習が視覚と言語に直接アクセスする場合は 71.3\% である。
4つの物理ロボットタスクの中で、テストされた分散シフトの平均成功率は58.1\%に達し、45.6\%は$π_{0.5}$となった。
トレーニングの短縮とファクターの介入は、ステージドデザインをサポートし、直接の知覚アクセスが回復した後も学習状態が制御に寄与し続けることを示す。
関連論文リスト
- Phase-and-First-Arrival VLM Feedback for Sparse-Reward Reinforcement Learning in Surgical Manipulation [18.513281440175113]
スパース・リワード強化学習では、終末報酬は同じ結果にそのような試みが崩壊する。
記録されたエピソードごとの1つのVLMクエリは、最も視覚的に検証されたタスクフェーズを識別する。
5つのシミュレートされたタスクにおいて,提案手法は平均75.2%に到達し,コントラスト言語-画像事前学習に基づく報酬は52.1%となった。
論文 参考訳(メタデータ) (2026-09-07T08:29:59Z) - Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning [27.507258147328]
アウトカム駆動強化学習は、タスク・サクセスの少ないフィードバックから、視覚-言語-アクション(VLA)ポリシーをトレーニング後処理するスケーラブルな方法を提供する。
RoboTwin 2.0では、Temporal GRPOがタスク成功とサンプル効率を改善し、タスク水平線を一貫したゲインを実現している。
論文 参考訳(メタデータ) (2026-08-13T09:54:14Z) - AC-VLA: Robust Out-of-Distribution Action Execution via Compositional Learning [52.47988016454267]
VLA(Vision-Language-Action)モデルは、エンドツーエンドのロボット操作において優れているが、アウト・オブ・ディストリビューション(OOD)の一般化に苦慮している。
構成的サブスキルのセマンティクスよりも全体論的軌道パターンに過度に適合するEmphtrajectory overfittingと、世界空間の接地を犠牲にして手首面のテクスチャを過度に強調するEmphperceptual shortcutの2つの相互強化モードを同定する。
textbfAC-VLA, プラグアンドプレイアクション構成学習について紹介する。
論文 参考訳(メタデータ) (2026-07-17T07:51:03Z) - CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking [6.465600276213322]
VLA(Vision-Language-Action)ポリシーは、視覚的標的を効果的に追跡することができるが、建物、植生、道路沿いの物体が視線を塞ぐと、その性能は劣化することが多い。
本稿では,空間認識型VLAモデルCosFly-VLAについて述べる。
OpenVLAとは対照的に、CosFly-VLA-0.8Bはオープンループ平均変位誤差(ADE)を外見テストで34.1%、目に見えないテストで35.3%削減する。
論文 参考訳(メタデータ) (2026-07-16T13:52:08Z) - LA4VLA: Learning to Act without Seeing via Language-Action Pretraining [51.209359878543005]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を共同で行動にマッピングすることで、ロボットのデモンストレーションで一般的に事前訓練される。
LA4VLAは、視覚的観察なしに、ポリシーが言語条件付きアクションの事前取得を可能にする、言語行動事前訓練フレームワークである。
論文 参考訳(メタデータ) (2026-06-25T17:13:02Z) - Improving Vision-Language-Action Model Fine-Tuning with Structured Stage and Keyframe Supervision [17.146970845728813]
StaKeはVision-Language-Action(VLA)モデルのプラグイン補助監視フレームワークである。
手動のアノテーションなしで、デモグリップ状態から2つの補完信号を自動的に導き出す。
バイマニュアルシミュレーションとシングルアームのFranka実ロボットタスクの実験は、StaKeが一貫して成功率を改善することを示している。
論文 参考訳(メタデータ) (2026-06-25T09:38:11Z) - Semi-Supervised Vision-Language-Action Model [17.893249958828218]
VLA(Vision-Language-Action)モデルは、ロボットが視覚的な観察や言語指示から直接アクションを予測することを可能にするが、それらを新しい環境に適用することは、コストのかかるアクションラベルによるデモンストレーションに依存する。
限定的な監視信号の下で準教師付きVLA適応について検討し、少数の軌道だけがロボットの動作を含み、残りの軌道はアクション未ラベルの視覚言語観測を提供する。
標準的な半教師あり学習とは異なり、視覚的に接地し、言語に一貫性があり、物理的に実現可能で、時間的に安定な動作信号である。
論文 参考訳(メタデータ) (2026-06-19T14:42:52Z) - QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。
VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。
提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
論文 参考訳(メタデータ) (2026-05-24T06:28:53Z) - PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
論文 参考訳(メタデータ) (2026-04-30T06:14:02Z) - EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models [57.75717492488268]
VLA(Vision-Language-Action)モデルは、大きな言語モデルを活用することで高度なロボット操作を行う。
Supervised Finetuning (SFT) では、タスク毎の数百のデモ、厳格に軌跡を記憶すること、デプロイメント条件がトレーニングから逸脱したときに適応できないことなどが求められている。
EVOLVE-VLA(EVOLVE-VLA)は、VLAが最小またはゼロのタスク固有のデモで環境相互作用を通じて継続的に適応できるテストタイムトレーニングフレームワークである。
論文 参考訳(メタデータ) (2025-12-16T18:26:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。