論文の概要: CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling

• arxiv url: http://arxiv.org/abs/2506.19816v2
• Date: Thu, 30 Oct 2025 16:38:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 20:30:31.265546
• Title: CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling
• Title（参考訳）: CronusVLA:マルチフレームビジョン・ランゲージ・アクション・モデリングによる効率的かつロバストな操作を目指して
• Authors: Hao Li, Shuai Yang, Yilun Chen, Xinyi Chen, Xiaoda Yang, Yang Tian, Hanqing Wang, Tai Wang, Dahua Lin, Feng Zhao, Jiangmiao Pang,
• Abstract要約: CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。 CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。 これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
• 参考スコア（独自算出の注目度）: 84.51372201195132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent vision-language-action (VLA) models built on pretrained vision-language models (VLMs) have demonstrated strong performance in robotic manipulation. However, these models remain constrained by the single-frame image paradigm and fail to fully leverage the temporal information offered by multi-frame histories, as directly feeding multiple frames into VLM backbones incurs substantial computational overhead and inference latency. We propose CronusVLA, a unified framework that extends single-frame VLA models to the multi-frame paradigm. CronusVLA follows a two-stage process: (1) Single-frame pretraining on large-scale embodied datasets with autoregressive prediction of action tokens, establishing an effective embodied vision-language foundation; (2) Multi-frame post-training, which adapts the prediction of the vision-language backbone from discrete tokens to learnable features, and aggregates historical information via feature chunking. CronusVLA effectively addresses the existing challenges of multi-frame modeling while enhancing performance and observational robustness. To evaluate the robustness under temporal and spatial disturbances, we introduce SimplerEnv-OR, a novel benchmark featuring 24 types of observational disturbances and 120 severity levels. Experiments across three embodiments in simulated and real-world environments demonstrate that CronusVLA achieves leading performance and superior robustness, with a 70.9% success rate on SimplerEnv, a 26.8% improvement over OpenVLA on LIBERO, and the highest robustness score on SimplerEnv-OR. These results highlight the potential of efficient multi-frame adaptation in VLA models for more powerful and robust real-world deployment.
• Abstract（参考訳）: 近年の視覚言語モデル(VLA)は,ロボット操作において高い性能を示した。 しかし、これらのモデルはシングルフレームの画像パラダイムに制約され続け、複数のフレームを直接VLMバックボーンに供給することで、マルチフレーム履歴によって提供される時間的情報を完全に活用できないため、かなりの計算オーバーヘッドと推論遅延が発生する。 単一フレームVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークであるCronusVLAを提案する。 CronusVLAは,(1)行動トークンの自動回帰予測による大規模実施データセットの単フレーム事前学習,(2)個別のトークンから学習可能な特徴への視覚言語バックボーンの予測に適応し,特徴チャンクを通じて歴史的情報を集約する多フレーム後学習,という2段階のプロセスに従っている。 CronusVLAは、性能と観測ロバスト性を高めながら、マルチフレームモデリングの既存の課題に効果的に対処する。 時間的および空間的障害下でのロバスト性を評価するために,24種類の観察障害と120の重症度を特徴とする新しいベンチマークであるSimplerEnv-ORを導入する。 CronusVLAは、SimplerEnv上で70.9%の成功率、LIBERO上でのOpenVLAよりも26.8%改善、SimplerEnv-OR上での最高ロバスト性スコアを達成している。 これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。

関連論文リスト

• SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [69.54069477520534]
  VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。 計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。 本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:04:17Z)
• Think Twice, Act Once: Token-Aware Compression and Action Reuse for Efficient Inference in Vision-Language-Action Models [30.7855782696894]
  VLA(Vision-Language-Action)モデルは、自然言語による汎用ロボット制御の強力なパラダイムとして登場した。 VLAモデルにおけるアクション再利用を可能にする最初のトレーニングフリーかつプラグアンドプレイアクセラレーションフレームワークであるFlashVLAを提案する。
  論文  参考訳（メタデータ） (2025-05-27T13:47:18Z)
• Mitigating Trade-off: Stream and Query-guided Aggregation for Efficient and Effective 3D Occupancy Prediction [12.064509280163502]
  3Dの占有率予測は、自動運転の重要な認識課題として浮上している。 近年の研究では、過去の観測から得られた情報の統合に焦点が当てられ、予測精度が向上している。 本稿では,過去の情報をストリームベースで集約するフレームワークStreamOccを提案する。 Occ3D-nusデータセットの実験によると、StreamOccはリアルタイム設定で最先端のパフォーマンスを実現し、メモリ使用量を従来の方法に比べて50%以上削減している。
  論文  参考訳（メタデータ） (2025-03-28T02:05:53Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• VS-TransGRU: A Novel Transformer-GRU-based Framework Enhanced by Visual-Semantic Fusion for Egocentric Action Anticipation [33.41226268323332]
  エゴセントリックなアクション予測は、一人称視点で将来のアクションを先進的に予測することを目的とした課題である。 既存のほとんどの手法は、視覚入力とリカレントニューラルネットワークに基づくモデルアーキテクチャと損失関数の改善に重点を置いている。 本稿では,新しいビジュアル・セマンティック融合とトランスフォーマーGRUに基づくアクション予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-08T06:49:54Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。