論文の概要: Beyond LLM Serving: Characterizing Vision-Language-Action Workloads for Embodied AI System Design
- arxiv url: http://arxiv.org/abs/2610.05062v1
- Date: Sun, 04 Oct 2026 09:05:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 06:37:34.879388
- Title: Beyond LLM Serving: Characterizing Vision-Language-Action Workloads for Embodied AI System Design
- Title(参考訳): LLM Servingを超えて: 身体的AIシステム設計のためのビジョンランゲージ・アクションワークロードを特徴付ける
- Abstract要約: 視覚言語アクション(VLA)モデルは、マルチモーダルな観察を低レベルのロボットアクションに変換する。
エッジGPUサーバに4つの代表的なVLAモデルと2つのSOCを特徴付ける。
結果は、VLAモデルアーキテクチャ、ハードウェア、ランタイムポリシーの共同設計をガイドする。
- 参考スコア(独自算出の注目度): 2.5058052036318537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models translate multimodal observations into low-level robot actions. During robot operation, each control period sets an inference deadline, and overruns leave the robot acting on stale observations, reducing task success. Meeting this deadline motivates on-device or nearby edge execution, where a single robot requires batch-1 inference outside the design point of LLM serving systems. Although VLA architectures combine familiar vision-language, autoregressive, and diffusion-style components, their runtime behavior in this batch-1 control setting remains uncharacterized. We characterize four representative VLA models on an edge GPU server and two onboard SoCs, using single-inference profiling and 43,200 closed-loop episodes. Action tensor dimensionality determines whether a stage is memory- or compute-bound, platform balance can shift that bottleneck, and GPU frequency scaling yields a platform-dependent energy-latency sweet spot. In closed-loop operation, overlapping inference with action execution creates an accuracy-speed-energy tradeoff, and no configuration is Pareto-dominant across deployment SLOs. These results guide joint design of VLA model architectures, hardware, and runtime policies.
- Abstract(参考訳): 視覚言語アクション(VLA)モデルは、マルチモーダルな観察を低レベルのロボットアクションに変換する。
ロボット操作中、各制御期間は推論期限を設定し、ロボットが不安定な観察を行うようにオーバーランし、タスクの成功を減少させる。
この期限に間に合わせると、デバイス上または近くのエッジ実行を動機付け、単一のロボットがLLMサービスシステムの設計ポイントの外でバッチ1の推論を必要とする。
VLAアーキテクチャは、慣れ親しんだ視覚言語、自己回帰、拡散スタイルのコンポーネントを組み合わせているが、このバッチ-1制御設定における実行時の動作は、まだ特徴化されていない。
エッジGPUサーバに4つの代表的なVLAモデルと2つのSoCを単一推論プロファイリングと43,200の閉ループエピソードを用いて特徴付ける。
アクションテンソル次元は、ステージがメモリベースか計算バウンドであるかを決定し、プラットフォームバランスはそのボトルネックをシフトさせ、GPU周波数スケーリングはプラットフォーム依存のエネルギーレイテンシスイートスポットを生み出す。
クローズドループ操作では、アクション実行と重なり合う推論は、精度とエネルギーのトレードオフを生じさせ、デプロイメントSLO間でPareto-dominantは設定されない。
これらの結果は、VLAモデルアーキテクチャ、ハードウェア、ランタイムポリシーの共同設計をガイドする。
関連論文リスト
- StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。
追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。
メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文 参考訳(メタデータ) (2026-08-26T17:33:19Z) - Algorithm-Architecture Co-Design for Efficient VLA Inference via Speculative Inference and Verification [24.0529851878964]
VLA(Vision-Language-Action)モデルは、組み込みAIの分野では目覚ましい能力を示しているが、その高い計算コストと予測されるアクション長によって、リアルタイムなデプロイメントが妨げられている。
提案するSpecVLAは,動作長,推論遅延,タスク信頼性を適応的にバランスさせるアルゴリズム・システム協調設計フレームワークである。
論文 参考訳(メタデータ) (2026-08-16T08:59:22Z) - RotVLA: Rotational Latent Action for Vision-Language-Action Model [54.22746299071677]
本稿では,連続的な回転潜在動作表現に基づくVLAフレームワークであるRotVLAを紹介する。
潜在作用はSO(n) の元としてモデル化され、連続性、構成性、および実世界の作用力学と整合した構造的幾何学を提供する。
RotVLAはVLMバックボーンとフローマッチングアクションヘッドで構成される。
論文 参考訳(メタデータ) (2026-05-13T11:58:02Z) - LiteVLA-Edge: Quantized On-Device Multimodal Control for Embedded Robotics [0.6119773373677944]
本稿では,Jetson Orinクラスハードウェア上でのデバイス上での完全な推論のための,デプロイメント指向のVLAパイプラインであるLiteVLA-Edgeを紹介する。
提案手法は、FP32における教師付きイメージ・ツー・アクションの微調整と、4ビットGGUF量子化とGPU加速推論を組み合わせたものである。
我々の構成では、LiteVLA-Edgeは、完全にオフラインで動作しながら、150.5,ms(約6.6,Hz)の平均エンドツーエンドランタイムを達成する。
論文 参考訳(メタデータ) (2026-03-03T03:20:52Z) - VLA-RAIL: A Real-Time Asynchronous Inference Linker for VLA Models and Robots [5.308743386891208]
VLA(Vision-Language-Action)モデルは、ロボット工学において画期的な進歩を遂げた。
連続したアクションチャンクのキューを融合する戦略は、VLAモデル全体のパフォーマンスに大きな影響を与える。
既存の方法は、ロボットアクションの実行時にジッタ、ストール、あるいは停止に悩まされる。
本稿では,モデル推論とロボット動作制御を非同期に行うように設計された新しいフレームワークであるVLA-RAILを紹介する。
論文 参考訳(メタデータ) (2025-12-31T06:59:42Z) - Asynchronous Fast-Slow Vision-Language-Action Policies for Whole-Body Robotic Manipulation [10.09057399213028]
Vision-Language-Action(VLA)システムは、意味論的推論のためのVision-Language Model(VLM)と、連続的なアクション信号を生成するアクションエキスパートを統合する。
本稿では,非同期なFast-Slow VLAフレームワーク(DuoCore-FS)を導入し,アクション生成のための高速経路とリッチなVLM推論のための遅い経路にシステムを編成する。
論文 参考訳(メタデータ) (2025-12-23T09:28:20Z) - dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought [66.78110237549087]
VLA(Vision-Language-Action)モデルは、ロボット工学の次世代パラダイムとして登場しつつある。
単一システムにおける視覚認識,言語推論,ロボット制御を統一する拡散型VLAであるdVLAを紹介する。
論文 参考訳(メタデータ) (2025-09-30T02:36:11Z) - SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。
計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。
本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
論文 参考訳(メタデータ) (2025-06-15T05:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。