論文の概要: Algorithm-Architecture Co-Design for Efficient VLA Inference via Speculative Inference and Verification
- arxiv url: http://arxiv.org/abs/2608.15636v1
- Date: Sun, 16 Aug 2026 08:59:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.369564
- Title: Algorithm-Architecture Co-Design for Efficient VLA Inference via Speculative Inference and Verification
- Title（参考訳）: 投機推論と検証による効率的なVLA推論のためのアルゴリズムアーキテクチャ共設計
- Abstract要約: VLA(Vision-Language-Action)モデルは、組み込みAIの分野では目覚ましい能力を示しているが、その高い計算コストと予測されるアクション長によって、リアルタイムなデプロイメントが妨げられている。
提案するSpecVLAは,動作長,推論遅延,タスク信頼性を適応的にバランスさせるアルゴリズム・システム協調設計フレームワークである。
- 参考スコア（独自算出の注目度）: 24.0529851878964
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Vision-Language-Action (VLA) models have demonstrated remarkable capabilities in the field of embodied AI, but their high computational cost and limited predicted action length hinder real-time deployment. Although Dadu-Corki, a dedicated accelerator for efficient embodied AI, has been introduced, it does not exploit the inherent interaction patterns between the robot and its environment, which results in a relatively short predicted action length. We observe that robotic environments naturally alternate between active states-where precise actions are crucial-and inactive states-where actions have limited impact on task success. This insight enables a new scheduling opportunity: long-action-length speculative prediction in inactive states, paired with selective verification in active states. We propose SpecVLA, an algorithm-system co-design framework that adaptively balances action length, inference latency, and task reliability. On the algorithm side, SpecVLA introduces a state-aware VLA inference execution paradigm and a hardware-friendly construction of a smaller verification model (sVLA) using differential residuals and block-wise mixed-precision quantization. On the system side, we develop a heterogeneous architecture consisting of a GPU and a robotic-specific hardware module, along with a speculative dataflow that decouples VLA and sVLA through parallel execution. Comprehensive evaluations on OpenVLA and RDT across LIBERO and ManiSkill benchmarks show that SpecVLA reduces end-to-end latency significantly while preserving task success rate. By enabling long-action-length speculative prediction with timely verification, SpecVLA achieves real-time robotic manipulation with both high efficiency and reliability.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、組み込みAIの分野では目覚ましい能力を示しているが、その高い計算コストと予測されるアクション長によって、リアルタイムなデプロイメントが妨げられている。
効率的なエンボディドAIのための専用アクセラレータであるDadu-Corkiが導入されたが、ロボットと環境の間の固有の相互作用パターンを利用せず、結果として比較的短いアクション長が予測される。
ロボット環境は、正確な行動が重要かつ不活性な状態である状態と、タスクの成功に限られた影響を与えている状態の間で自然に交互に変化する。
この洞察は、不活性な状態における長アクション長の投機的予測と、アクティブな状態における選択的検証との組み合わせという、新しいスケジューリングの機会を可能にする。
提案するSpecVLAは,動作長,推論遅延,タスク信頼性を適応的にバランスさせるアルゴリズム・システム協調設計フレームワークである。
アルゴリズム側では、状態認識型VLA推論実行パラダイムと、差分残差とブロックワイド混合精度量子化を用いたより小さな検証モデル(sVLA)のハードウェアフレンドリな構成を導入している。
システム側では,並列実行を通じてVLAとsVLAを分離する投機的データフローとともに,GPUとロボット固有のハードウェアモジュールからなる異種アーキテクチャを開発する。
LIBEROとManiSkillベンチマークによるOpenVLAとRTTの総合的な評価は、SpecVLAがタスク成功率を維持しながらエンドツーエンドのレイテンシを大幅に削減することを示している。
タイムリーな検証で長時間の投機予測を可能にすることにより、SpecVLAは高効率と信頼性の両方でリアルタイムなロボット操作を実現する。
関連論文リスト
- Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference [40.7778980764007]
視覚アクション(VLA)モデルは、具体化されたAIの重要なコンポーネントとして登場した。
本稿では,効率的な拡散型VLA推論のためのアルゴリズムハードウェア協調設計フレームワークであるDeltorisを提案する。
論文 参考訳（メタデータ） (2026-08-05T04:17:03Z) - VisualThink-VLA: Visual Intermediate Reasoning for Effective and Low-Latency Vision-Language-Action Policies [58.65913948991329]
正確な低レイテンシVLAポリシーのためのビジュアル中間推論フレームワークであるVISUALTHINK-VLAを提案する。
私たちのブートストラップ哲学は、効果的な視覚的思考でアクションを導くことです。
これは、デコードオーバーヘッドを回避しながら空間的精度を保った、コンパクトなビジュアル・エビデンスインターフェースを通じてアクション予測をブートストラップする。
論文 参考訳（メタデータ） (2026-05-28T14:36:53Z) - OFlow: Injecting Object-Aware Temporal Flow Matching for Robust Robotic Manipulation [55.56490813640669]
VLAモデルは典型的には現在のフレームにのみ作用するが、将来の予測とオブジェクト認識推論は別々の潜在空間でしばしば学習される。
本稿では,時間的フォアシークエンスとオブジェクト認識推論を共通化することで,制約に対処するフレームワークOFlowを提案する。
提案手法は, 時間的フローマッチングを用いて将来の潜伏者を予測し, 物理的に関係のある手がかりを強調するオブジェクト認識表現に分解する。
論文 参考訳（メタデータ） (2026-04-20T06:38:01Z) - Long-Term Memory for VLA-based Agents in Open-World Task Execution [12.869726287795693]
VLA(Vision-Language-Action)モデルは、具体的意思決定に重要な可能性を示している。
既存のフレームワークは、計画と実行を分離されたプロセスとして扱う。
ChemBotは、自律的なAIエージェントと、階層的なタスクの分解と実行のための進捗対応VLAモデルを統合する。
論文 参考訳（メタデータ） (2026-04-17T03:49:41Z) - RC-NF: Robot-Conditioned Normalizing Flow for Real-Time Anomaly Detection in Robotic Manipulation [68.7948300643741]
ロボットの異常検出と介入をリアルタイムに監視するロボット・コンディションド・ノーマライゼーション・フロー(RC-NF)を提案する。
RC-NFは、正規化フロー内のタスク認識ロボットとオブジェクト状態の処理を分離する。
従来のロボットタスクの監視方法と比較して、あらゆる異常なタイプで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-03-11T10:14:37Z) - Mean-Flow based One-Step Vision-Language-Action [15.497933767026568]
FlowMatchingベースのVision-Language-Action(VLA)フレームワークは、高周波アクションチャンクを生成する上で、顕著なアドバンテージを示している。
それらは、本質的に反復的なサンプリング要件とアーキテクチャ上の制限から生じる、世代遅延の延長によって制約される。
本稿では,アクション生成プロセスにおけるノイズによる問題を解消する,平均フローに基づくワンステップVLA手法を提案する。
論文 参考訳（メタデータ） (2026-03-02T05:30:30Z) - TIC-VLA: A Think-in-Control Vision-Language-Action Model for Robot Navigation in Dynamic Environments [23.799083918923344]
本稿では,動作生成中に遅延セマンティック推論を明示的にモデル化する遅延認識フレームワークであるThink-in-Control (TIC)-VLAを紹介する。
TIC-VLAは、遅延視覚言語セマンティックステートと明示的な遅延メタデータのアクション生成を条件とする遅延セマンティックコントロールインターフェースを定義する。
現実的な評価を支援するために,動的環境における言語誘導ナビゲーションのための物理精度の高いフォトリアリスティック・シミュレーションスイートDynaNavを提案する。
論文 参考訳（メタデータ） (2026-02-02T18:47:49Z) - StreamVLA: Breaking the Reason-Act Cycle via Completion-State Gating [8.031311182554981]
長距離ロボット操作は、高レベルの計画と低レベルの制御のギャップを埋める必要がある。
現在のVision-Language-Actionモデルは、しばしばこれらのプロセスを絡めて、各ステップで冗長なマルチモーダル推論を実行する。
本稿では、テキストタスクの分解、視覚目標の想像力、連続的なアクション生成を単一のパラメータ効率のバックボーン内で統合するデュアルシステムアーキテクチャStreamVLAを提案する。
論文 参考訳（メタデータ） (2026-02-01T08:51:17Z) - AC^2-VLA: Action-Context-Aware Adaptive Computation in Vision-Language-Action Models for Efficient Robotic Manipulation [21.23747444669735]
VLAモデル(AC2-VLA)に対するアクションコンテキスト対応適応計算を提案する。
AC2-VLAは、タイムステップ間の認識再利用、トークンプルーニング、統一メカニズム内のモデルコンポーネントの選択的な実行を適応的に行う。
ロボット操作ベンチマークの実験では、AC2-VLAはFLOPを29.4%まで減らし、最大1.79倍のスピードアップを達成した。
論文 参考訳（メタデータ） (2026-01-27T14:10:39Z) - FASTer: Toward Efficient Autoregressive Vision Language Action Modeling via Neural Action Tokenization [61.10456021136654]
本稿では,効率的で汎用的なロボット学習のための統合フレームワークであるFASTerを紹介する。
FASTerVQは、アクションチャンクをシングルチャネルイメージとしてエンコードし、高い圧縮比を維持しながら、グローバルな時間的依存関係をキャプチャする。
FASTerVLAはブロックワイドの自動回帰デコーディングと軽量アクションエキスパートを備えたトークンライザ上に構築されており、推論の高速化とタスクパフォーマンスの向上を実現している。
論文 参考訳（メタデータ） (2025-12-04T16:21:38Z) - dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought [66.78110237549087]
VLA(Vision-Language-Action)モデルは、ロボット工学の次世代パラダイムとして登場しつつある。
単一システムにおける視覚認識,言語推論,ロボット制御を統一する拡散型VLAであるdVLAを紹介する。
論文 参考訳（メタデータ） (2025-09-30T02:36:11Z) - SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。
計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。
本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
論文 参考訳（メタデータ） (2025-06-15T05:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。