論文の概要: FastVLA: Task-Conditioned and Temporally Adaptive Visual Token Compression for Efficient Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.22146v2
- Date: Mon, 19 Oct 2026 22:47:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.215065
- Title: FastVLA: Task-Conditioned and Temporally Adaptive Visual Token Compression for Efficient Vision-Language-Action Models
- Title(参考訳): FastVLA:効率的な視覚・言語・行動モデルのためのタスクコンディションと時間適応型視覚トーケン圧縮
- Abstract要約: FastVLAはトレーニングフリー、タスク対応、時間適応型ビジュアルトークン圧縮フレームワークである。
我々は,OpenVLA,OpenVLA-OFT,CogACTをLIBERO,SIMPLER,FastVLA,FastVLA,物理Franka Research 3ロボット上で評価した。
- 参考スコア(独自算出の注目度): 21.203463355928886
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action (VLA) models present a promising paradigm for general-purpose robot manipulation, but closed-loop deployment is often limited by inference efficiency: at each timestep, high-resolution, often multi-view images are encoded into hundreds of visual tokens that dominate transformer computation and latency. Token compression via attention is a natural solution but is challenging for VLA control because (1) decision-critical tokens are determined by the task, not generic visual saliency, and (2) the token budget varies substantially across steps, so static metrics and budgets waste computation or discard control-critical tokens. We introduce FastVLA, a training-free, task-aware, and temporally adaptive visual token compression framework. At each step, FastVLA scores token importance via task-to-vision attention and adaptively sets the compression rate from the importance-distribution uniformity, measured by an inverse-Simpson metric with online sliding-window calibration. We evaluate FastVLA on OpenVLA, OpenVLA-OFT, and CogACT across LIBERO and SIMPLER, and on a physical Franka Research 3 robot. In simulation, it reduces LLM-backbone FLOPs by 35-59\% and action latency by 9-32\% (a 1.09$\times$-1.46$\times$ speedup) while maintaining task success, achieving a comparable or better efficiency-performance trade-off than existing plug-and-play token compression/pruning/reuse baselines. On the real robot, it cuts action-prediction latency by 20\% (1.25$\times$ speedup) at comparable success. Code is available at https://github.com/jiuyixu25/FastVLA.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは汎用ロボット操作において有望なパラダイムを示すが、クローズドループの展開は推論効率によって制限されることが多い。
注意によるトークン圧縮は自然な解決法であるが,(1)決定クリティカルトークンは一般的な視覚的サリエンシではなくタスクによって決定され,(2)トークン予算はステップによって大きく異なるため,静的メトリクスや予算は計算を無駄にしたり,制御クリティカルトークンを捨てたりするため,VLA制御では困難である。
我々はFastVLAを紹介した。FastVLAはトレーニングフリー、タスク対応、時間適応型ビジュアルトークン圧縮フレームワークである。
各ステップにおいて、FastVLAはタスク・ツー・ビジョンの注意を通してトークンの重要度をスコアし、オンラインスライドウインドウキャリブレーションによる逆シンプソン計量によって測定された重要性分布の均一性から圧縮率を適応的に設定する。
我々は,OpenVLA,OpenVLA-OFT,CogACTをLIBERO,SIMPLER,FastVLA,FastVLA,物理Franka Research 3ロボット上で評価した。
シミュレーションでは、LCMバックボーンFLOPを35-59\%削減し、アクションレイテンシを9-32\%(a 1.09$\times$-1.46$\times$ speedup)削減し、既存のプラグアンドプレイトークン圧縮/プルーニング/リユースベースラインと同等あるいは優れたパフォーマンストレードオフを実現する。
実際のロボットでは、同様の成功でアクション予測のレイテンシを20\%(1.25$\times$ speedup)削減する。
コードはhttps://github.com/jiuyixu25/FastVLAで入手できる。
関連論文リスト
- Reducing Temporal Redundancy for Efficient Vision-Language-Action Inference [19.683948028719808]
VLA(Vision-Language-Action)モデルは、ロボット操作の強力な一般化を示すが、その高い推論遅延はリアルタイムデプロイメントを制限する。
本稿では,知覚と行動生成の両面での計算量を削減するシステムレベル加速戦略を提案する。
Libero、RobotWin、Real Robot Platformsの実験では、ハイパフォーマンスを維持しながら、2倍以上のスピードアップを実証している。
論文 参考訳(メタデータ) (2026-07-14T02:48:31Z) - Fast Enough to Act: Spatio-Temporal Visual Token Merging for Low-Latency Robotic VLMs and VLAs [21.02858354959528]
視覚言語モデルと視覚言語アクションモデルにより、ロボットには前例のない能力がある。
ビデオや高解像度画像の入力は膨大な数の視覚トークンをもたらし、非常に高い推論遅延をもたらし、ロボットのリアルタイム制御を著しく妨げる。
本稿では,視覚的エンコーディングフェーズにおいて,冗長トークンを直接効率的に融合するプラグイン・アンド・プレイフレームワークST-Mergeを提案する。
論文 参考訳(メタデータ) (2026-06-28T11:42:55Z) - ReactVLA: Fast and Lightweight Reactive Robot Manipulation via Improved Mean Flow Action Generation [6.976481623762446]
textttReactVLAは、リアルタイムロボット操作のための軽量で低レイテンシなVLAフレームワークである。
textttReactVLAは、同じサイズのVLAベースラインを一貫して上回る。
現実世界のポリシーのレイテンシを38.6ミリ秒以下に短縮し、物理ロボットプラットフォームでの高速な反応性制御を可能にする。
論文 参考訳(メタデータ) (2026-06-12T08:33:37Z) - A1: A Fully Transparent Open-Source, Adaptive and Efficient Truncated Vision-Language-Action Model [112.9420001646428]
VLA(Vision-Language-Action)モデルは、オープンワールドロボット操作の強力なパラダイムとして登場したが、実際の展開はコストに制約されることが多い。
我々は、低コストで高スループットな推論のために設計された、完全にオープンソースで透明なVLAフレームワークであるA1を提示する。
A1は最先端の成功率を達成すると同時に、推論コストを大幅に削減する。
論文 参考訳(メタデータ) (2026-04-07T10:18:40Z) - PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。
提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。
LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
論文 参考訳(メタデータ) (2026-02-04T15:33:10Z) - SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。
計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。
本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
論文 参考訳(メタデータ) (2025-06-15T05:04:17Z) - VLA-Cache: Efficient Vision-Language-Action Manipulation via Adaptive Token Caching [23.52474883720957]
VLA(Vision-Language-Action)モデルは、視覚知覚と言語命令から直接のアクション生成を可能にする強力なマルチモーダル推論能力を示している。
本稿では,フレーム間の静的な視覚トークンを適応的にキャッシュ・再利用することにより,計算オーバーヘッドを低減する訓練不要な推論高速化手法であるVLA-Cacheを紹介する。
論文 参考訳(メタデータ) (2025-02-04T09:48:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。