論文の概要: CronusVLA: Transferring Latent Motion Across Time for Multi-Frame Prediction in Manipulation

• arxiv url: http://arxiv.org/abs/2506.19816v1
• Date: Tue, 24 Jun 2025 17:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.749732
• Title: CronusVLA: Transferring Latent Motion Across Time for Multi-Frame Prediction in Manipulation
• Title（参考訳）: CronusVLA: 操作における複数フレーム予測のための遅延動作の時間的移動
• Authors: Hao Li, Shuai Yang, Yilun Chen, Yang Tian, Xiaoda Yang, Xinyi Chen, Hanqing Wang, Tai Wang, Feng Zhao, Dahua Lin, Jiangmiao Pang,
• Abstract要約: CronusVLAはシングルフレームのVLAモデルを効率的な後トレーニング段階を通じてマルチフレームのパラダイムに拡張する統合フレームワークである。 CronusVLAはSimplerEnvの最先端のパフォーマンスを70.9%の成功率で達成し、LIBEROのOpenVLAよりも12.7%改善した。
• 参考スコア（独自算出の注目度）: 67.1520483301709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent vision-language-action (VLA) models built on pretrained vision-language models (VLMs) have demonstrated strong generalization across manipulation tasks. However, they remain constrained by a single-frame observation paradigm and cannot fully benefit from the motion information offered by aggregated multi-frame historical observations, as the large vision-language backbone introduces substantial computational cost and inference latency. We propose CronusVLA, a unified framework that extends single-frame VLA models to the multi-frame paradigm through an efficient post-training stage. CronusVLA comprises three key components: (1) single-frame pretraining on large-scale embodied datasets with autoregressive action tokens prediction, which establishes an embodied vision-language foundation; (2) multi-frame encoding, adapting the prediction of vision-language backbones from discrete action tokens to motion features during post-training, and aggregating motion features from historical frames into a feature chunking; (3) cross-frame decoding, which maps the feature chunking to accurate actions via a shared decoder with cross-attention. By reducing redundant token computation and caching past motion features, CronusVLA achieves efficient inference. As an application of motion features, we further propose an action adaptation mechanism based on feature-action retrieval to improve model performance during finetuning. CronusVLA achieves state-of-the-art performance on SimplerEnv with 70.9% success rate, and 12.7% improvement over OpenVLA on LIBERO. Real-world Franka experiments also show the strong performance and robustness.
• Abstract（参考訳）: 事前訓練された視覚言語モデル(VLM)に基づいて構築された近年の視覚言語アクション(VLA)モデルは、操作タスク間で強力な一般化を実証している。 しかし、それらは単一フレームの観察パラダイムに制約され続けており、大きな視覚言語バックボーンがかなりの計算コストと推論遅延をもたらすため、集約された多フレームの歴史的観測によって提供される動き情報から完全に恩恵を受けることはできない。 CronusVLAは,単一フレームのVLAモデルを,効率的な後学習段階を通じてマルチフレームのパラダイムに拡張する統合フレームワークである。 CronusVLAは,(1)自己回帰的行動トークン予測による大規模実施データセット上での単フレーム事前学習,(2)個別の行動トークンから動作特徴への視覚言語バックボーンの予測を適応する多フレーム符号化,(3)履歴フレームからの動作特徴を特徴チャンクに集約するクロスフレームデコーディング,(3)クロスアテンションを伴う共有デコーダを介して,特徴のチャンクを正確な動作にマッピングするクロスフレームデコーディング,の3つの重要な構成要素から構成される。 冗長トークン計算の削減と過去の動作特徴のキャッシュにより、CronusVLAは効率的な推論を実現する。 さらに,動作特徴の応用として,特徴量検索に基づく行動適応機構を提案し,微調整時のモデル性能を向上させる。 CronusVLAはSimplerEnvの最先端のパフォーマンスを70.9%の成功率で達成し、LIBEROのOpenVLAよりも12.7%改善した。 実世界のフランカの実験も、強い性能と堅牢性を示している。

関連論文リスト

• SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [69.54069477520534]
  VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。 計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。 本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:04:17Z)
• Think Twice, Act Once: Token-Aware Compression and Action Reuse for Efficient Inference in Vision-Language-Action Models [30.7855782696894]
  VLA(Vision-Language-Action)モデルは、自然言語による汎用ロボット制御の強力なパラダイムとして登場した。 VLAモデルにおけるアクション再利用を可能にする最初のトレーニングフリーかつプラグアンドプレイアクセラレーションフレームワークであるFlashVLAを提案する。
  論文  参考訳（メタデータ） (2025-05-27T13:47:18Z)
• Mitigating Trade-off: Stream and Query-guided Aggregation for Efficient and Effective 3D Occupancy Prediction [12.064509280163502]
  3Dの占有率予測は、自動運転の重要な認識課題として浮上している。 近年の研究では、過去の観測から得られた情報の統合に焦点が当てられ、予測精度が向上している。 本稿では,過去の情報をストリームベースで集約するフレームワークStreamOccを提案する。 Occ3D-nusデータセットの実験によると、StreamOccはリアルタイム設定で最先端のパフォーマンスを実現し、メモリ使用量を従来の方法に比べて50%以上削減している。
  論文  参考訳（メタデータ） (2025-03-28T02:05:53Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• VS-TransGRU: A Novel Transformer-GRU-based Framework Enhanced by Visual-Semantic Fusion for Egocentric Action Anticipation [33.41226268323332]
  エゴセントリックなアクション予測は、一人称視点で将来のアクションを先進的に予測することを目的とした課題である。 既存のほとんどの手法は、視覚入力とリカレントニューラルネットワークに基づくモデルアーキテクチャと損失関数の改善に重点を置いている。 本稿では,新しいビジュアル・セマンティック融合とトランスフォーマーGRUに基づくアクション予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-08T06:49:54Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。