論文の概要: KerColle: Unlocking Fine-Grained GPU Concurrency in Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2609.22335v1
- Date: Wed, 16 Sep 2026 15:57:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:56:26.045118
- Title: KerColle: Unlocking Fine-Grained GPU Concurrency in Vision-Language-Action Models
- Title（参考訳）: KerColle:ビジョンランゲージ・アクションモデルにおける細粒度GPUコンカレンシーのアンロック
- Abstract要約: VLA(Vision-Language-Action)モデルは、次世代ロボティクスの基礎モデルとして登場した。
ロボットの制御速度要求を満たすためには、高いVLA推論スループットが不可欠である。
本稿では,2つの実行フェーズを効率的に重畳する軽量GPUスケジューリングフレームワークであるKerColleを紹介する。
- 参考スコア（独自算出の注目度）: 3.7359168192706065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action (VLA) models have emerged as foundational models for next-generation robotics. High VLA inference throughput is critical for meeting the control-rate requirements of robots. VLA models comprise two phases, a vision-language model (VLM) and an action head, that can be decoupled and executed asynchronously and concurrently across independent robot requests. Through a detailed characterization of four state-of-the-art VLAs, we observe that GPUs are severely underutilized in VLA inference as the Cooperative Thread Array (CTA) scheduler of GPU is unable to fully overlap the two independent phases of VLA execution. We identify that this inefficiency is caused by head-of-line blocking in the hardware thread-block dispatcher. We demonstrate that prior scheduling frameworks do not address the challenges posed by VLA concurrency. First, the independent phases across different robot requests each comprise numerous kernels, and at any given time, there are different combinations of kernels that are executed in parallel. This makes static or ahead-of-time scheduling policies largely ineffective. Second, many of the action-head operators are short-running kernels and there are numerous such kernels. This leaves no headroom for online profiling or preemption-based mechanisms. To address these challenges, we present KerColle, a lightweight GPU scheduling framework that leverages online Streaming Multiprocessor (SM) utilization and individual kernel resource requirements to intelligently and dynamically co-schedule kernels to efficiently overlap the two phases of execution by (1) mitigating head-of-line blocking, and (2) co-scheduling kernels with complementary resource requirements. We demonstrate in simulation, across two GPU architectures, for 4 state-of-the-art VLA models, that KerColle delivers throughput gains of up to $28\%$.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、次世代ロボティクスの基礎モデルとして登場した。
ロボットの制御速度要求を満たすためには、高いVLA推論スループットが不可欠である。
VLAモデルは、視覚言語モデル(VLM)とアクションヘッドの2つのフェーズから構成されており、独立ロボットの要求に対して分離して非同期に同時に実行できる。
現状の4つのVLAの詳細なキャラクタリゼーションにより、GPUの協調スレッドアレイ(CTA)スケジューラがVLA実行の2つの独立したフェーズを完全にオーバーラップできないため、VLA推論においてGPUは過小評価されている。
この非効率性は、ハードウェアスレッドブロックディスパッチのヘッド・オブ・ライン・ブロッキングによって生じる。
従来のスケジューリングフレームワークは,VLAの並行処理による課題に対処していないことを実証する。
第一に、異なるロボット要求間の独立したフェーズは、それぞれ多数のカーネルで構成され、いつでも、並列に実行されるカーネルの組み合わせが異なる。
これにより、静的または事前スケジューリングポリシーは、ほとんど効果がない。
第二に、アクションヘッド演算子の多くはショートランニングカーネルであり、そのようなカーネルは多数存在する。
これは、オンラインプロファイリングやプリエンプションベースのメカニズムのためのヘッドルームを残さない。
これらの課題に対処するために、KerColleは、オンラインのストリーミングマルチプロセッサ(SM)利用と個々のカーネルリソース要求を活用して、インテリジェントで動的に共スケジュールされたカーネルに、(1)ヘッド・オブ・ライン・ブロッキングを緩和し、(2)補完的なリソース要件を持つカーネルを協調スケジューリングすることで、実行の2つのフェーズを効率的に重複させる軽量GPUスケジューリングフレームワークである。
我々は、2つのGPUアーキテクチャ、すなわち4つの最先端VLAモデルのシミュレーションで、KerColleが最大2,8\%のスループットゲインを提供することを示した。
関連論文リスト
- Efficient Vision-Language-Action Management and Serving for Robot Factories [1.2034276571105524]
Vision-Language-Action (VLA) モデルは2段階の設計によって高いロボット操作能力を示す。
ロボットは安全のために厳格なServiceLevel Objectives(SLO)を満たさなければならないため、VLA推論は本質的に遅延クリティカルである。
我々は、マルチGPUエッジサーバ上でのマルチロボット、マルチモデル要求のためのVLAサービスおよび管理システムであるRobionを設計する。
論文 参考訳（メタデータ） (2026-09-10T18:04:22Z) - StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。
追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。
メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文 参考訳（メタデータ） (2026-08-26T17:33:19Z) - Gleam: Adaptive Network-Efficient CUDA API Remoting for Cross-Device GPU Sharing over LANs [27.795876706914857]
本稿では、ローカルエリアネットワーク(LAN)内のデバイス間での計算および通信効率のよいGPU共有を実現することを目的とする。
本稿では,タスクジェネリックGPU共有のための新しい,ネットワーク効率の高いフレームワークであるGleamを提案する。
Gleemは最先端のベースラインを一貫して上回り、APIリモーティング効率の1.4～24.2倍の改善を実現している。
論文 参考訳（メタデータ） (2026-07-25T09:06:47Z) - Event Tensor: A Unified Abstraction for Compiling Dynamic Megakernel [17.931727429220874]
Event Compiler (ETC) は静的および動的スケジューリングを適用して高性能な永続カーネルを生成する。
ETCは最先端のサービスレイテンシを実現し、ウォームアップオーバーヘッドを大幅に削減する。
論文 参考訳（メタデータ） (2026-04-14T22:19:51Z) - DualCoT-VLA: Visual-Linguistic Chain of Thought via Parallel Reasoning for Vision-Language-Action Models [50.07453075750711]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を直接ロボット行動にマッピングする。
近年の取り組みは、行動能力の前に思考でVLAモデルを育むために、Chain-of-Thought (CoT)推論を取り入れている。
並列推論機構を持つVLAモデルの視覚言語的CoT法であるDualCoT-VLAを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:59:25Z) - StitchCUDA: An Automated Multi-Agents End-to-End GPU Programing Framework with Rubric-based Agentic Reinforcement Learning [26.264303471292845]
エンドツーエンドGPUプログラム生成のためのマルチエージェントフレームワークであるStitchCUDAを提案する。
実験の結果、StitchCUDAはエンドツーエンドのプログラミングタスクで100%近く成功し、マルチエージェントベースラインの1.72倍の高速化を実現している。
論文 参考訳（メタデータ） (2026-03-03T06:04:49Z) - Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。
我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。
BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
論文 参考訳（メタデータ） (2025-11-04T01:15:44Z) - Higher-order Linear Attention [59.92962330635185]
スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。
本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
論文 参考訳（メタデータ） (2025-10-31T07:54:37Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-04-25T05:04:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。