論文の概要: Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures

• arxiv url: http://arxiv.org/abs/2608.14586v1
• Date: Fri, 19 Jun 2026 02:37:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.220685
• Title: Efficient Block-Layer Parallel Inference for Vision-Language-Action on Hybrid Architectures
• Title（参考訳）: ハイブリッドアーキテクチャにおけるビジョンランゲージ・アクションのための効率的なブロック層並列推論
• Abstract要約: VLA(Vision-Language-Action)モデルは、自動運転のための有望なパラダイムであるが、既存の車両プラットフォームへの展開は依然として困難である。 本稿では、自律運転のための柔軟なリソーススケジューリングを備えたハイブリッドCPU-GPU推論フレームワークを提案する。 提案手法は,2つのVLAモデルであるOrionとMindDriveについて評価する。
• 参考スコア（独自算出の注目度）: 21.02986379327923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action (VLA) models are becoming a promising paradigm for autonomous driving, but their deployment on existing vehicle platforms remains difficult because they introduce both high inference latency and strong GPU-side resource pressure. In a full autonomous driving stack, this problem is even more pronounced: legacy vehicle platforms were provisioned for modular pipelines, yet after several planning-related functions are absorbed into a unified VLA model, part of the original CPU budget becomes underutilized, while the visual encoder and the main reasoning path still concentrate most computation and memory demand on the GPU. As a result, directly deploying VLA together with the rest of the onboard system can be hard under realistic GPU memory constraints. To address this issue, we present a hybrid CPU--GPU inference framework with flexible resource scheduling for autonomous driving. Our design partitions the VLA backbone at the block-layer granularity, executes the visual encoder and LLM prefix on the GPU, and offloads the LLM suffix to the CPU through a cross-frame asynchronous pipeline, thereby exposing a schedulable boundary for redistributing compute and memory pressure across heterogeneous processors. We evaluate the proposed framework on two representative driving VLA models, Orion and MindDrive. On Bench2Drive, our method reduces average latency from 521ms to 408.0ms for Orion and from 443ms to 306.2ms for MindDrive, corresponding to 21.7% and 30.9% reduction, respectively. For Orion, the estimated peak GPU memory is further reduced from 45GB to 29GB. In real-vehicle deployment under coexistence with Autoware.Universe, native Orion cannot run because the onboard GPU memory budget is insufficient, whereas the hybrid version runs successfully together with the full vehicle stack.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは自動運転において有望なパラダイムになりつつあるが、推論レイテンシとGPU側のリソースプレッシャーが強いため、既存の車両プラットフォームへのデプロイメントは依然として困難である。 従来の車両プラットフォームはモジュールパイプライン用にプロビジョニングされていたが、いくつかの計画関連の機能が統一されたVLAモデルに吸収された後、元のCPU予算の一部が未使用になり、一方、ビジュアルエンコーダと主な理由付けパスは、GPUの計算とメモリ需要の大部分に集中している。 結果として、VLAを他のオンボードシステムと一緒に直接デプロイすることは、現実的なGPUメモリ制約の下では困難である。 この問題に対処するために、自律運転のための柔軟なリソーススケジューリングを備えたハイブリッドCPU-GPU推論フレームワークを提案する。 我々の設計では、ブロック層粒度でVLAバックボーンを分割し、GPU上でビジュアルエンコーダとLCMプレフィックスを実行し、LLMサフィックスをクロスフレーム非同期パイプラインを介してCPUにオフロードすることで、不均一プロセッサ間で計算とメモリの圧力を再分配するためのスケジューリング可能なバウンダリを公開する。 提案手法は,2つのVLAモデルであるOrionとMindDriveについて評価する。 Bench2Driveでは、平均遅延をOrionで521msから408.0msに、MindDriveで443msから306.2msに削減し、それぞれ21.7%と30.9%の削減を実現した。 Orionでは、推定ピークGPUメモリが45GBから29GBにさらに削減される。 反対に、ネイティブOrionはGPUメモリの予算が不足しているため実行できないが、ハイブリッドバージョンはフル車両スタックとともに正常に動作する。

関連論文リスト

• Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets [0.0]
  私たちは、少数のAIPCが、単一のAIPCの能力を超えたモデルを提供できることを示しています。 Intel Tiber Cloud上のLunar Lake AI PCの4ノードデプロイは、対話的な速度で単一のユーザに提供する。
  論文  参考訳（メタデータ） (2026-08-19T17:33:28Z)
• LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation [53.88286427894783]
  視覚言語モデル(VLM)は、ロボット分野において、言語コンテキストによる環境認識を可能にする強力なツールとして登場した。 しかし、彼らの計算フットプリントは、通常、それらをクラウド実行に制限し、リソースに制約のあるロボットへのローカルなデプロイによる低レイテンシの推論を妨げる。 本稿では,大規模フロンティアモデルからの複雑な空間意味推論を,組み込みGPUデバイス上でエッジ実行を行うための軽量な4BパラメータローカルVLMに転送する蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T09:11:59Z)
• Fast-dDrive: Efficient Block-Diffusion VLM for Autonomous Driving [54.31800246594724]
  本稿では,ブロック拡散型VLAであるFast-dDriveについて述べる。 我々は、Fast-dDriveが運転エージェントの速度精度フロンティアを再定義することを示す。
  論文  参考訳（メタデータ） (2026-05-22T02:31:32Z)
• Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment [8.758783768535805]
  VLA(Vision-Language-Action)モデルは、一般的なロボット制御に期待できるが、ロボット上での展開は、コストとエネルギー予算の厳しいリアルタイム推論によってボトルネックとなる。 本稿では,モデル・ハードウエアのコキャラクタリゼーションによる低コストVLAデプロイメントの系統的解析を行う。
  論文  参考訳（メタデータ） (2026-04-27T13:12:16Z)
• Horizon-LM: A RAM-Centric Architecture for LLM Training [26.927410607740025]
  Horizon-LMは、大規模なモデル最適化のためにCPUとGPUの役割を再定義するメモリ中心のトレーニングシステムである。 1.5,TBのホストRAMを持つ1つのH200 GPU上で、Horizon-LMは120Bパラメータまでのモデルを確実にトレーニングする。 標準的なシングルA100マシンでは、Horizon-LMはCPUオフロードのDeepSpeed ZeRO-3よりも最大12.2$timesのトレーニングスループットを実現している。
  論文  参考訳（メタデータ） (2026-02-04T18:04:46Z)
• DrivePI: Spatial-aware 4D MLLM for Unified Autonomous Driving Understanding, Perception, Prediction and Planning [94.62097655403683]
  本稿では,ビジョン・ランゲージ・アクション統合フレームワークとして機能する空間認識型4次元MLLMであるDrivePIを提案する。 提案手法は,空間的理解,3次元知覚,予測(占有フロー),計画(行動出力)を並列に行う。 MLLMのバックボーンとして0.5BのQwen2.5モデルしか持たず、単一の統一モデルとしてのDrivePIは既存のVLAモデルと特殊VAモデルの両方を上回るか、あるいは超える。
  論文  参考訳（メタデータ） (2025-12-14T18:45:54Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• Practical offloading for fine-tuning LLM on commodity GPU via learned sparse projectors [11.127604539303373]
  微調整の大型言語モデル(LLM)は大きなメモリを必要とし、1つのGPUの容量を超えることが多い。 このメモリ課題の一般的な解決策は、計算とデータをGPUからCPUにオフロードすることだ。 本稿では,コモディティハードウェア上でのLLMの微調整を可能にするオフロードフレームワーク LSP-Offload を提案する。
  論文  参考訳（メタデータ） (2024-06-14T16:59:11Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。