論文の概要: StellaVLA: In-Context Structured Demonstration for Generalizable Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2608.11671v1
• Date: Wed, 12 Aug 2026 05:30:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.4731
• Title: StellaVLA: In-Context Structured Demonstration for Generalizable Vision-Language-Action Models
• Title（参考訳）: StellaVLA: 一般化可能なビジョン・ランゲージ・アクションモデルのためのインコンテキスト構造化デモ
• Abstract要約: 本稿では,検索した1つのデモを条件付けして,テスト時に適応するフレームワークであるStellaVLAを紹介する。 自動オフラインパイプラインは、各生の軌跡を、例えばタスクプラン、サブゴール記述、言語化された3Dモーションなどの構造化されたデモに変換する。 並列な二重訓練設計は、この推論を共同行動および言語目的を通じて内部化し、推論はアクションエキスパートのみを使用する。
• 参考スコア（独自算出の注目度）: 37.45050514108603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action (VLA) models can follow instructions and manipulate objects, but their performance often collapses out of distribution (OOD), when the scene, viewpoint, or object differs from training. Adapting to each new situation typically requires collecting more data and fine-tuning. We present StellaVLA, a framework that instead adapts at test time by conditioning on a single retrieved demonstration. The key idea is to move beyond imitating what an expert did and instead convey why: an automated offline pipeline converts each raw trajectory into a structured demonstration, e.g., a task plan, sub-goal descriptions, and verbalized 3D motion, at zero human-annotation cost. Provided as in-context guidance, this structured demonstration lets the policy reason about the task rather than mimic a pixel trajectory, which also makes it transferable across embodiments (real-robot, human-hand, or XR demonstrations). A parallel dual-training design internalizes this reasoning during training through a joint action-and-language objective, while inference uses the action expert alone, preserving real-time, high-frequency control with no added latency. On the VLA-Arena leaderboard(Aug 1, 2026), StellaVLA ranks first with an overall score of 0.63, versus 0.44 and 0.22 for the strong prior models ($π_{0.5}$ and LingBot-VLA), and it further leads on LIBERO with 98.8% average success rate and LIBERO-Plus with 85.1% success rate. Our real-robot benchmark demonstrates that StellaVLA can use both human/robot demos and human-to-robot (XR) demos as in-context structured demonstration to help VLA model adapt to OOD tasks.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは命令に従ってオブジェクトを操作できるが、シーン、視点、オブジェクトがトレーニングと異なる場合、そのパフォーマンスは分散(OOD)から崩壊することが多い。 新しい状況に適応するには、通常、より多くのデータを集め、微調整する必要がある。 提案するStellaVLAは,検索した1つのデモを条件にすることで,テスト時に適応するフレームワークである。 自動化されたオフラインパイプラインは、各生の軌跡を構造化されたデモ、例えば、タスクプラン、サブゴール記述、言語化された3Dモーションに変換する。 コンテキスト内ガイダンスとして提供されるこの構造化されたデモは、ピクセル軌跡を模倣するのではなく、タスクに関するポリシー上の理由を与える。 並列なデュアルトレーニング設計は、この推論を共同動作および言語目的によって内部化し、推論はアクションエキスパートのみを使用し、リアルタイムで高周波な制御を、追加のレイテンシなしで保持する。 VLA-Arenaのリーダーボード(2026年8月1日)では、ステラVLAの総合スコアは0.63で、強い先行モデル(π_{0.5}$とLingBot-VLA)は0.44と0.22で、LIBEROは98.8%、LIBERO-Plusは85.1%である。 我々の実ロボットベンチマークは、StellaVLAが人間/ロボットのデモと人間とロボット(XR)のデモの両方をコンテキスト内で構造化されたデモとして使用することにより、VLAモデルがOODタスクに適応できることを示しています。

関連論文リスト

• Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models [120.24139942108405]
  ロボットデータのスケーリングは、一般のVision-Language-Action(VLA)モデルを構築する上で重要である。 固定されたロボットデータ予算の下では、継続した事前訓練は限られた軌道を伝達可能な視覚行動知識に変換する必要がある。 本稿では,VLA指向のVLMバックボーンであるVLActを提案する。
  論文  参考訳（メタデータ） (2026-08-27T17:59:40Z)
• Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs [46.61554174146852]
  Task-Agnostic Pretraining (TAP)は、安価な未ラベルのインタラクションデータから転送可能なモータの事前学習を行う2段階のフレームワークである。 SIMPLERベンチマークでは、TAPは100万以上の専門家の軌道上でトレーニングされたモデルと、ラベル付きデータの桁数を桁違いに削減する。 現実世界のWidowXプラットフォームでは、TAPは、インターネットスケールのベースラインが0%に崩壊するカメラの摂動の下で25%の成功を維持している。
  論文  参考訳（メタデータ） (2026-07-02T17:33:37Z)
• GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation [49.16739604572808]
  VLA(Vision-Language-Action)モデルは、強力なベンチマークパフォーマンスを実現するが、目に見えないオブジェクトによる現実世界のデプロイに苦労する。 これは、統合幾何認識の操作表現が欠如していることに起因していると我々は主張する。 一般化可能なロボット操作のための統合幾何認識行動表現を学習するためのVLAフレームワークであるGEAR-VLAを提案する。
  論文  参考訳（メタデータ） (2026-06-07T09:23:16Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• RotVLA: Rotational Latent Action for Vision-Language-Action Model [54.22746299071677]
  本稿では,連続的な回転潜在動作表現に基づくVLAフレームワークであるRotVLAを紹介する。 潜在作用はSO(n) の元としてモデル化され、連続性、構成性、および実世界の作用力学と整合した構造的幾何学を提供する。 RotVLAはVLMバックボーンとフローマッチングアクションヘッドで構成される。
  論文  参考訳（メタデータ） (2026-05-13T11:58:02Z)
• Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
  既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。 本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。 我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
  論文  参考訳（メタデータ） (2026-02-23T11:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。