論文の概要: CometVLA: Co-Training on an Embodied Data Pyramid towards Physical Understanding

• arxiv url: http://arxiv.org/abs/2608.30289v1
• Date: Mon, 31 Aug 2026 05:55:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.249159
• Title: CometVLA: Co-Training on an Embodied Data Pyramid towards Physical Understanding
• Title（参考訳）: CometVLA: 身体的理解に向けた身体的データピラミッドの共同評価
• Abstract要約: 視覚言語アクション(VLA)モデルは、物理コモンセンスを必要とする操作タスクにおいて脆弱なままである。 VLMの物理的理解の改善が下流のアクション生成に実際に寄与するかどうかは不明だ。 我々は,ロボットの動作データと実施状況に厳密に整合した物理VQAコーパスとベンチマークであるCometVLAを提示する。
• 参考スコア（独自算出の注目度）: 56.55196056616493
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Vision-language-action (VLA) models remain brittle in manipulation tasks that require physical commonsense. Current physical VQA data is typically disembodied and misaligned with robot action domains. Egocentric videos are used only as auxiliary pre-training. It remains unclear whether improved VLM physical understanding actually benefits downstream action generation. Therefore, we present CometVLA to close this gap. We construct CometData and CometBench, an embodied physical VQA corpus and benchmark strictly aligned with the robot's action data and embodiment. We introduce Global Action Prior (GAP) tokens, a compact learnable bottleneck that isolates task-agnostic motion regularities and lets the action head consume physical commonsense without corrupting the pre-trained VLM backbone. We co-train CometVLA across the embodied data pyramid, spanning teleoperation, simulation, egocentric trajectories, and VQA layers. On real-world manipulation tasks and RoboTwin simulation, CometVLA consistently outperforms strong VLA baselines. Correlation analysis shows that stronger VLM performance on CometBench indicates higher VLA success rates. Results demonstrate that physical understanding pre-training genuinely benefits downstream manipulation.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、物理コモンセンスを必要とする操作タスクにおいて脆弱なままである。 現在の物理VQAデータは、通常、ロボットのアクションドメインと混同される。 エゴセントリックビデオは補助的な事前訓練としてのみ使用される。 VLMの物理的理解の改善が下流のアクション生成に実際に寄与するかどうかは不明だ。 したがって、このギャップを埋めるためにCometVLAを提示する。 CometDataとCometBenchを具体化した物理VQAコーパスと,ロボットの動作データと実施状況に厳密に適合したベンチマークを構築した。 本稿では,GAP(Global Action Prior)トークンについて紹介する。これは,タスクに依存しない動作規則を分離し,予めトレーニングしたVLMバックボーンを破損することなく,アクションヘッドが物理コモンセンスを消費することのできる,学習可能なコンパクトなボトルネックである。 私たちは、Egocentric trajectories、VQA層といった遠隔操作、シミュレーション、データピラミッドにまたがるCometVLAを共同でトレーニングします。 実世界の操作タスクとRoboTwinシミュレーションでは、CometVLAは強いVLAベースラインを一貫して上回っている。 相関解析により,CometBenchのVLM性能は高いVLA成功率を示した。 その結果、物理理解の事前学習は、下流操作に真に有益であることが示された。

関連論文リスト

• Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models [120.24139942108405]
  ロボットデータのスケーリングは、一般のVision-Language-Action(VLA)モデルを構築する上で重要である。 固定されたロボットデータ予算の下では、継続した事前訓練は限られた軌道を伝達可能な視覚行動知識に変換する必要がある。 本稿では,VLA指向のVLMバックボーンであるVLActを提案する。
  論文  参考訳（メタデータ） (2026-08-27T17:59:40Z)
• Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models [42.38903028184938]
  本稿では, VLM の知識ベンチマークを VLA 評価に適用するプロトコルである Act2Answer を紹介する。 各質問は、エージェントが候補回答の中から選択するための1つのオブジェクト配置アクションを実行する短いテーブルトップエピソードとなり、制御ミスの少ないアクショングラウンドの成功率が得られる。 7つのVLAモデルと9つのVLMベースラインの大規模研究において、VLAがよりリッチなセマンティックカテゴリに対してより大きなギャップを示しながら、単純な概念に対して確固たる性能を示すことを発見した。
  論文  参考訳（メタデータ） (2026-06-17T17:20:46Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• UAM: A Dual-Stream Perspective on Forgetting in VLA Training [20.50709311546184]
  視覚-言語-アクションモデル(VLAモデル、Vision- Language-action Model)は、通常、予め訓練された視覚-言語モデル(VLM)をアクションデータに微調整することによって構築される。 本稿では,この標準レシピがVLMのマルチモーダル能力を体系的に損なうことを示す。 生物学的ビジョンの2ストリームの組織にインスパイアされたこの劣化は、構造的ボトルネックまで遡る。
  論文  参考訳（メタデータ） (2026-05-15T08:45:37Z)
• mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
  そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。 提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
  論文  参考訳（メタデータ） (2025-12-17T18:47:31Z)
• SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models [60.80050275581661]
  VLM(Vision-Language Models)は、目覚しい常識と意味論的推論能力を示す。 物理力学に関する基礎的な理解は欠如している。 テストタイムでシミュレーション可能な ACTion Planning フレームワークである S を提案する。 本手法は,5つの難易度,実世界の剛体および変形可能な操作課題に対して,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-12-05T18:51:03Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。