論文の概要: Efficient VLA Inference via Retrieval-Based Speculation and Hardware Acceleration
- arxiv url: http://arxiv.org/abs/2611.11098v2
- Date: Wed, 11 Nov 2026 08:33:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.873339
- Title: Efficient VLA Inference via Retrieval-Based Speculation and Hardware Acceleration
- Title(参考訳): 検索ベース推論とハードウェアアクセラレーションによる効率的なVLA推論
- Abstract要約: 視覚言語アクション(VLA)モデルは、ロボットが複雑な命令を理解し実行できるようにする。
現在のアプローチは、エッジプラットフォームでは非効率な、コストのかかるドラフトモデルに依存しています。
本稿では,ARベースのVLA推論を高速化するハードウェア・ソフトウェア共同設計フレームワークであるZoraを提案する。
- 参考スコア(独自算出の注目度): 31.66829218964742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models enable robots to understand and execute complex instructions, but their autoregressive (AR) action generation introduces significant latency on resource-constrained robotic platforms. Speculative decoding can accelerate AR-based inference by parallelizing action generation and verification; however, existing approaches rely on costly draft models, which are inefficient on edge platforms. In this paper, we propose Zora, a hardware-software co-design framework for accelerating AR-based VLA inference. Specifically, Zora introduces a lightweight retrieval-augmented generation (RAG)-based draft model that exploits robotic dynamics without additional neural draft models. We further reduce batch verification overhead through a kinematics-guided action-acceptance strategy and a KV-cache-sharing attention mechanism. To address the retrieval overhead introduced by RAG-based drafting, we co-design dedicated hardware support, Zora core, to address the memory irregularity in RAG-based drafting. We evaluate Zora on four VLA models with the LIBERO benchmark. Zora retains comparable accuracy while achieving up to 3.4$\times$ speedup with software-only optimization and up to 7.6$\times$ speedup with hardware support over GPUs.
- Abstract(参考訳): 視覚言語アクション(VLA)モデルは、ロボットが複雑な命令を理解し実行できるようにするが、その自己回帰(AR)アクション生成は、リソース制約されたロボットプラットフォームに重大な遅延をもたらす。
投機的復号化は、アクション生成と検証の並列化によってARベースの推論を加速することができるが、既存のアプローチでは、エッジプラットフォームでは非効率なコストのかかるドラフトモデルに依存している。
本稿では,ARベースのVLA推論を高速化するハードウェア・ソフトウェア共同設計フレームワークであるZoraを提案する。
具体的には、Zoraは軽量な検索強化世代(RAG)ベースのドラフトモデルを導入している。
さらに,キネマティクス誘導型行動受容戦略とKVキャッシュ共有アテンション機構により,バッチ検証のオーバーヘッドを低減する。
RAGベースのドラフトによって引き起こされる検索オーバーヘッドに対処するため、RAGベースのドラフトにおけるメモリ不規則に対処するため、専用のハードウェアサポートであるZoraコアを共同設計した。
LIBEROベンチマークを用いて,4つのVLAモデル上でZoraを評価する。
Zoraは同等の精度を維持しつつ、ソフトウェアのみの最適化で最大3.4$\times$スピードアップ、GPUよりもハードウェアサポートで最大7.6$\times$スピードアップを実現している。
関連論文リスト
- FASA: Feedback-Aware Sampling Adaptation for Efficient Diffusion-Based VLA Models [31.613980338126314]
本稿では,実時間マルチモーダルフィードバックをデノゲーションパイプラインの制御信号として扱う,トレーニングフリーランタイムフレームワークを提案する。
このフレームワークにより、基盤となるハードウェアアーキテクチャは、異なる実行フェーズのワークロード要求に適応的に適合することができる。
論文 参考訳(メタデータ) (2026-09-16T22:36:35Z) - Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference [40.7778980764007]
視覚アクション(VLA)モデルは、具体化されたAIの重要なコンポーネントとして登場した。
本稿では,効率的な拡散型VLA推論のためのアルゴリズムハードウェア協調設計フレームワークであるDeltorisを提案する。
論文 参考訳(メタデータ) (2026-08-05T04:17:03Z) - A Motion-Aware Vector Quantization Framework with Centroid Reuse for Efficient VLA Inference [16.66163943624991]
VLA(Vision-Language-Action)モデルは、AIを具現化するための強力な可能性を示しているが、GPU上の高い推論レイテンシは、リアルタイムデプロイメントを制限する。
本稿では,VQVLAを提案する。VQVLAは,重みの類似性や実行のダイナミクスを利用して,VLA推論を高速化するアルゴリズムハードウェアの共同設計フレームワークである。
VQVLAはA100 GPU, Dadu-Corki, LUT-DLA, CodeGEMM, ShiftAddLLMでそれぞれ6.5x, 2.8x, 1.9x, 3.3x, 4.3xのスピードアップを実現している。
論文 参考訳(メタデータ) (2026-07-27T08:29:05Z) - Fast-dDrive: Efficient Block-Diffusion VLM for Autonomous Driving [54.31800246594724]
本稿では,ブロック拡散型VLAであるFast-dDriveについて述べる。
我々は、Fast-dDriveが運転エージェントの速度精度フロンティアを再定義することを示す。
論文 参考訳(メタデータ) (2026-05-22T02:31:32Z) - StarVLA-$α$: Reducing Complexity in Vision-Language-Action Systems [89.12403322299963]
StarVLA-$は、制御条件下でのVLA設計選択を研究するための単純だが強力なベースラインである。
我々は,アクションモデリング戦略,ロボット固有の事前訓練,インターフェースエンジニアリングなど,いくつかの重要な設計軸を再評価する。
我々の1つのジェネラリストモデルは、公開現実のRoboChallengeベンチマークで$_0.5$を20%上回ります。
論文 参考訳(メタデータ) (2026-04-13T17:30:01Z) - DCO: Dynamic Cache Orchestration for LLM Accelerators through Predictive Management [2.5993532871616027]
本稿では,共有システムレベルのキャッシュとアプリケーション対応管理ポリシを備えたマルチコアAIアクセラレータを提案する。
従来のキャッシュアーキテクチャと比較すると,パフォーマンスの大幅な向上(最大1.80倍の高速化)が観察できる。
我々の研究は、将来のAIアクセラレータシステムの開発を支援する共有キャッシュ設計の可能性を探るものである。
論文 参考訳(メタデータ) (2025-12-08T08:56:10Z) - SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。
計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。
本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
論文 参考訳(メタデータ) (2025-06-15T05:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。