論文の概要: VLA-HWBench: Where the Time Goes When VLA Models Run on Edge Hardware

• arxiv url: http://arxiv.org/abs/2610.34717v1
• Date: Mon, 26 Oct 2026 02:07:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.681348
• Title: VLA-HWBench: Where the Time Goes When VLA Models Run on Edge Hardware
• Title（参考訳）: VLA-HWBench: エッジハードウェア上でVLAモデルを実行する時
• Abstract要約: 視覚言語アクション(VLA)モデルは、ロボットに搭載されたエッジデバイス上でますます動作します。 ロボットがVLA推論をリアルタイムで実行できるように、VLAモデル、その推論ソフトウェア、エッジハードウェアをどのように設計するかはいまだ不明である。
• 参考スコア（独自算出の注目度）: 29.190880509916003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision--language--action (VLA) models increasingly run on edge devices aboard robots, where inference latency constrains closed-loop robot control. However, it remains unclear how to design VLA models, their inference software and edge hardware so that robots can run VLA inference in real time. Most VLA models report only task success, while prior studies cover limited action-generation strategies, divide inference into at most three stages, and lack comparisons of inference optimizations on the same models.benchmarking 18 open VLA models across released and alternative backends on NVIDIA Jetson AGX Thor and AMD Ryzen AI Max+ PRO 395, with a seven-stage inference breakdown. Our study reveals three insights. First, action-generation strategy matters more than model size. It dominates 14 of 19 Jetson configurations, latency varies by $82\times$ on Jetson and $157\times$ on AMD, and parameter count explains at most 15% of latency variance. Models that generate long action chunks in a few flow-matching steps keep up with control, whereas token-by-token decoding does not. Second, kernel fusion with 4-bit weights helps most, running $π_{0.5}$ and GR00T N1.7 2.6--2.9$\times$ faster than PyTorch with \texttt{torch.compile}, but it exists for only these two models and only on the Jetson. Optimization also moves the time to the stages it shortens least, as CPU preprocessing grows from 12\% to 39\% of the GR00T N1.7 call. Third, after optimization, memory bandwidth limits only the stages that process few tokens on the Jetson, such as the denoising steps, whereas software limits all other stages, from unfused kernels to serial preprocessing on the host CPU. Overall, low-latency edge VLAs should use few action-generation iterations, inference software should extend kernel fusion and low-bit weights to more models and platforms, and edge hardware needs high memory bandwidth and a fast host CPU.
• Abstract（参考訳）: 視覚-言語-アクション(VLA)モデルは、ロボットのエッジデバイス上でますます動作し、推論遅延はクローズループロボット制御を制約する。 しかしながら、ロボットがVLA推論をリアルタイムで実行できるように、VLAモデル、推論ソフトウェア、エッジハードウェアをどのように設計するかは、まだ不明である。 ほとんどのVLAモデルはタスクの成功しか報告していないが、先行研究ではアクションジェネレーション戦略が限定されており、推論を少なくとも3段階に分割し、同じモデル上での推論最適化の比較が欠如している。 私たちの研究は3つの洞察を明らかにします。 第一に、アクション生成戦略はモデルのサイズよりも重要である。 これは19のJetson構成のうち14で、レイテンシはJetsonで82ドル、AMDで57ドル、パラメータカウントでは遅延分散の15%が説明できる。 いくつかのフローマッチングステップで長いアクションチャンクを生成するモデルは制御に追随するが、トークン・バイ・トークンのデコーディングは制御しない。 第二に、4ビットの重みを持つ核融合は、π_{0.5}$とGR00T N1.7 2.6--2.9$\times$を PyTorch より高速に実行するのに役立つが、これら2つのモデルにのみ存在し、Jetson 上でのみ存在する。 CPU前処理は GR00T N1.7 コールの 12\% から 39\% に増加するため、最適化は最小限のステージに時間を移動させる。 第三に、最適化後、メモリ帯域幅はJetson上のトークンをほとんど処理しないステージのみに制限され、一方ソフトウェアは未使用のカーネルからホストCPU上のシリアル前処理まで、他のステージに制限される。 全体として、低レイテンシのエッジVLAはアクション生成のイテレーションを少なくし、推論ソフトウェアはカーネル融合と低ビット重みをより多くのモデルやプラットフォームに拡張し、エッジハードウェアは高いメモリ帯域幅と高速ホストCPUを必要とする。

関連論文リスト

• Decoupled Early Exits for Task-Dependent Compute Allocation in Flow-Matching VLAs [53.20313939184399]
  フローマッチング型ビジョン・ランゲージ・アクション(VLA)モデルは、ジェネラリストロボット制御の潜在的な解決策として浮上している。 本稿では,バックボーン深度を$V$,アクションエキスパート深度を$A$,ステップを$D$とすることを提案する。 最適な計算予算はタスクに依存しており、様々なタスクは異なる軸と深さから恩恵を受ける。
  論文  参考訳（メタデータ） (2026-09-24T11:10:00Z)
• KerColle: Unlocking Fine-Grained GPU Concurrency in Vision-Language-Action Models [3.7359168192706065]
  VLA(Vision-Language-Action)モデルは、次世代ロボティクスの基礎モデルとして登場した。 ロボットの制御速度要求を満たすためには、高いVLA推論スループットが不可欠である。 本稿では,2つの実行フェーズを効率的に重畳する軽量GPUスケジューリングフレームワークであるKerColleを紹介する。
  論文  参考訳（メタデータ） (2026-09-16T15:57:04Z)
• Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets [0.0]
  私たちは、少数のAIPCが、単一のAIPCの能力を超えたモデルを提供できることを示しています。 Intel Tiber Cloud上のLunar Lake AI PCの4ノードデプロイは、対話的な速度で単一のユーザに提供する。
  論文  参考訳（メタデータ） (2026-08-19T17:33:28Z)
• PhyAI: Real-Time Physical AI at the Edge, Scalable Rollouts in the Cloud [19.027069678233655]
  PhyAIは、単一のランタイムを持つ物理AI推論エンジンである。 単一のまたは複数のGPU上でビジョン言語アクション(VLA)モデルとワールドアクションモデル(WAM)を実行する。 pi0、pi0.5、GR00T N1.7、MiniCPM-Robotの公式実装よりも1.40x-4.65xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-08-04T13:53:48Z)
• Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs [11.45717904490388]
  トランスフォーマーベースの基盤モデルの最近の進歩は、多くのタスクのデフォルト選択となった。 その急速に成長するサイズは、単一のGPUに完全なモデルを適合させることがますます難しくなり、計算コストが禁じられる。 ブロック低ランク(BLR)圧縮技術は、重み行列のコンパクト表現を学習することでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-12-24T00:41:13Z)
• Test-Time Training Done Right [61.8429380523577]
  テスト時間トレーニング(TTT)モデルは、推論中にモデルの重みの一部を適応させることによってコンテキストをモデル化する。 既存のTT手法は、長文データを扱う上で有効性を示すのに苦労した。 我々は,大規模チャンクテストタイムトレーニング(LaCT)を開発し,ハードウェア利用率を桁違いに向上させる。
  論文  参考訳（メタデータ） (2025-05-29T17:50:34Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• AI and Memory Wall [81.06494558184049]
  メモリ帯域幅がデコーダモデルの主要なボトルネックとなることを示す。 私たちは、このメモリ制限を克服するためのモデルアーキテクチャ、トレーニング、デプロイメント戦略の再設計を主張します。
  論文  参考訳（メタデータ） (2024-03-21T04:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。