論文の概要: Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2608.27550v1
• Date: Thu, 27 Aug 2026 17:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.105302
• Title: Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models
• Title（参考訳）: データスケーリングを超えて: ビジョンランゲージ・アクションモデルのための表現中心の継続事前トレーニング
• Abstract要約: ロボットデータのスケーリングは、一般のVision-Language-Action(VLA)モデルを構築する上で重要である。 固定されたロボットデータ予算の下では、継続した事前訓練は限られた軌道を伝達可能な視覚行動知識に変換する必要がある。 本稿では,VLA指向のVLMバックボーンであるVLActを提案する。
• 参考スコア（独自算出の注目度）: 120.24139942108405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling robot data is crucial for building generalist Vision-Language-Action (VLA) models, yet robot trajectories are harder to scale than web-scale image-text data because embodied collection is costly and sparsely covers the physical world. This makes representation quality a central bottleneck: under a fixed robot-data budget, continued pre-training must turn limited trajectories into transferable visual-action knowledge rather than merely fit actions. We propose VLAct, a VLA-oriented VLM backbone trained on broad, heterogeneous, multi-embodiment robot data before task-specific fine-tuning. VLAct preserves the broad VLM prior and encourages shared action semantics across embodiments through VLM-prior preservation, multi-head continuous action co-supervision, and a partially unified cross-embodiment action layout, while allowing task-specific action heads during fine-tuning. Across simulation, real-world, and unseen-embodiment transfer, VLAct consistently improves downstream performance under fixed fine-tuning protocols. On LIBERO-Plus and RoboTwin 2.0, VLAct surpasses industrial VLA systems including ABot-M0 and LingBot-VLA, achieving success rates of 82.6% and 92.5%. On RoboDojo, VLAct ranks sixth among all policies by success rate and outperforms all explicitly designated world-action model (WAM) entries on both metrics. Most notably, on RoboCasa-GR1, an unseen humanoid embodiment, VLAct using only 20% of downstream trajectories outperforms the full-data GR00T-N1.6 baseline. These results are obtained using fully open-source data and only a 16-GPU training setup, showing that representation-centric continued pre-training can deliver highly competitive performance under a modest compute budget and is an important independent axis of VLA progress beyond data scaling.
• Abstract（参考訳）: ロボットデータのスケーリングは、一般のVision-Language-Action(VLA)モデルを構築する上では不可欠である。 これにより、表現の質が中心的なボトルネックとなる。固定されたロボットデータ予算の下では、継続した事前訓練は、限られた軌跡を単に適合するアクションではなく、伝達可能な視覚行動知識に変換する必要がある。 本稿では,タスク固有の微調整の前に,広義で異質な多体ロボットデータに基づいて訓練されたVLA指向のVLMバックボーンであるVLActを提案する。 VLActは広範にVLMを保存し、VLM-prior 保存、マルチヘッド連続アクションコスーパービジョン、部分的に統一されたクロスエボディメントアクションレイアウトを通じて、エボディメント間の共有アクションセマンティクスを奨励し、微調整時にタスク固有のアクションヘッドを許容する。 VLActは、シミュレーション、実世界、および目に見えない身体移動を通じて、固定された微調整プロトコル下での下流性能を一貫して改善する。 LIBERO-PlusとRoboTwin 2.0では、VLActはABot-M0やLingBot-VLAといった産業用VLAシステムを超え、82.6%と92.5%の成功を収めている。 RoboDojoでは、VLActは成功率ですべてのポリシーの中で6位にランクインし、両方の指標で明確に指定された世界行動モデル(WAM)の項目を上回っている。 特にRoboCasa-GR1では、VLActは下流軌道の20%しか使用していないが、完全なデータGR00T-N1.6ベースラインよりも優れている。 これらの結果は、完全なオープンソースデータと16GPUのトレーニングセットのみを使用して得られ、表現中心の継続的な事前トレーニングは、控えめな計算予算の下で高い競争力を発揮することを示し、データのスケーリングを超えてVLAの進歩の重要な独立した軸である。

関連論文リスト

• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• Wall-OSS-0.5 Technical Report [13.983843529533113]
  本稿では,アクションジェネレーションコンポーネントを付加した3B VLMバックボーン上に構築した,オープンソースの4B VLAであるWall-OSS-0.5を紹介する。 このモデルは20以上のエボディメントで事前訓練され、1エポックあたり100万以上のロボット軌道を処理する。 非自明なゼロショットのリアルタイムロボット動作を実現し、17タスクスイート上の高いタスク進捗において、ホールドアウトの変形可能な操作タスクを含むいくつかのタスクを完了させる。
  論文  参考訳（メタデータ） (2026-05-29T06:04:03Z)
• RotVLA: Rotational Latent Action for Vision-Language-Action Model [54.22746299071677]
  本稿では,連続的な回転潜在動作表現に基づくVLAフレームワークであるRotVLAを紹介する。 潜在作用はSO(n) の元としてモデル化され、連続性、構成性、および実世界の作用力学と整合した構造的幾何学を提供する。 RotVLAはVLMバックボーンとフローマッチングアクションヘッドで構成される。
  論文  参考訳（メタデータ） (2026-05-13T11:58:02Z)
• Do World Action Models Generalize Better than VLAs? A Robustness Study [25.418384276142223]
  視覚言語アクション(VLA)は、様々なロボットタスクで顕著な成功を収めた。 世界行動モデル(WAM)は、将来の状態を予測するために大量のビデオデータに基づいて訓練された世界モデルに基づいて構築される。 LIBERO-Plus と RoboTwin 2.0-Plus のベンチマークにおいて,様々な視覚的・言語的摂動による性能評価を行った。
  論文  参考訳（メタデータ） (2026-03-23T15:13:15Z)
• RoboInter: A Holistic Intermediate Representation Suite Towards Robotic Manipulation [104.68774434699158]
  RoboInter Manipulation Suiteはデータ、ベンチマーク、中間表現のモデルを含む統一されたリソースである。 多様な表現の半自動アノテーションを可能にする軽量GUIであるRoboInter-Toolと、571の多様なシーンにわたる230万回以上のエピソードを含む大規模なデータセットであるRoboInter-Dataで構成されている。 RoboInter-VLAは、モジュールとエンドツーエンドのVLAバリアントをサポートする、統合されたプラン-then-executeフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-02-10T17:01:54Z)
• SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics [37.82471658370026]
  視覚言語モデル(VLM)は、豊富な視覚的および言語的知識を符号化した大規模マルチモーダルデータセットで事前訓練された。 SmolVLAは、トレーニングと推論の両方のコストを大幅に削減する、小さく、効率的で、コミュニティ主導のVLAである。
  論文  参考訳（メタデータ） (2025-06-02T16:30:19Z)
• HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
  階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。 階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-08T07:50:22Z)
• TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies [95.30717188630432]
  VLAモデルの行動予測のための時空間認識を容易にするために,視覚的トレースプロンプトを導入する。 我々は,これまでに収集した150Kロボット操作トラジェクトリのデータセットに基づいてOpenVLAを微調整し,新しいTraceVLAモデルを開発した。 4B Phi-3-Vision に基づくコンパクトな VLA モデルを提案する。
  論文  参考訳（メタデータ） (2024-12-13T18:40:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。