論文の概要: GearUp: DAG-aware Acceleration for Serverless Inference Serving via Slack-guided Pre-loading

• arxiv url: http://arxiv.org/abs/2610.38196v2
• Date: Sun, 01 Nov 2026 02:12:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 02:41:44.9987
• Title: GearUp: DAG-aware Acceleration for Serverless Inference Serving via Slack-guided Pre-loading
• Title（参考訳）: GearUp: Slack誘導プレロードによるサーバレス推論のためのDAG対応アクセラレーション
• Abstract要約: GearUpは、機械学習のためのサーバーレスDAG推論サービスシステムである。 GearUpは各ノードのロードステージをプロファイルし、DAGが公開するスラックタイム内にスケジュールする。 NVIDIA L40Sを搭載したAMBER AlertとFINRA-MLでは、GearUpはSMIlessに対して、中央値のエンドツーエンドレイテンシを64.5%、75.9%削減する。
• 参考スコア（独自算出の注目度）: 9.770949641586773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Serverless platforms increasingly host machine learning (ML) inference workflows, modeled as directed acyclic graphs (DAGs) of interdependent functions. Beyond container startup, each ML node must load libraries, model weights, and CUDA kernels before it can run. These costs accumulate along dependent DAG paths and place initialization on the end-to-end critical path. Existing systems optimize one half of this problem. DAG-agnostic pre-loading prepares nodes the request may never reach, wasting host and GPU memory. DAG-aware serving routes and scales whole functions, leaving the loading stages inside a node untouched. This paper presents GearUp, a serverless DAG inference serving system that removes ML-node loading from the end-to-end critical path at low resource cost. GearUp profiles the loading stages of each node and schedules them inside the slack time the DAG exposes, hiding initialization behind upstream execution. It reuses initialized instances within and across requests to avoid redundant cold starts. A probabilistic, traffic-adaptive keep-alive policy sets how long idle instances are retained, balancing memory cost against cold-start risk under bursty load. On the AMBER Alert and FINRA-ML workflows with NVIDIA L40S GPUs, GearUp reduces median end-to-end latency by 64.5% and 75.9% against SMIless, for median speedups of 3.1x and 10.0x over cold execution. Integrated GPU and host memory allocation fall by up to 83.9% and 94.6% against eager pre-loading in InstaInfer. GearUp achieves 4.2x strong scaling on four workers.
• Abstract（参考訳）: サーバレスプラットフォームは、相互依存関数の有向非循環グラフ(DAG)としてモデル化された機械学習(ML)推論ワークフローをますますホストしている。 コンテナ起動以外にも、各MLノードは、実行前にライブラリ、モデルウェイト、CUDAカーネルをロードする必要がある。 これらのコストは依存のDAGパスに沿って蓄積され、エンドツーエンドのクリティカルパスに初期化される。 既存のシステムはこの問題の半分を最適化している。 DAG非依存のプリロードは、リクエストが到達しない可能性のあるノードを準備し、ホストとGPUメモリを浪費する。 DAGはルートを認識し、すべての機能をスケールし、ロードステージをノード内部に残す。 本稿では、MLノードのロードをエンド・ツー・エンドのクリティカルパスから低コストで除去するサーバーレスDAG推論サービスシステムであるGearUpについて述べる。 GearUpは各ノードのロードステージをプロファイルし、DAGが公開するスラックタイム内でスケジュールし、上流実行の背後に初期化を隠す。 冗長なコールドスタートを避けるために、リクエスト内およびリクエスト間で初期化インスタンスを再利用する。 確率的かつトラフィックに適応したキープアレーブポリシは、アイドルインスタンスの持続時間を設定し、バースト負荷下でのコールドスタートリスクに対するメモリコストのバランスをとる。 NVIDIA L40S GPUを使用したAMBER AlertとFINRA-MLワークフローでは、GearUpは、コールド実行時の3.1xと10.0xの中央スピードアップに対して、SMIlessに対して、中央値のエンドツーエンドレイテンシを64.5%、75.9%削減する。 統合GPUとホストメモリ割り当ては、InstaInferの熱心なプレロードに対して最大83.9%、94.6%低下した。 GearUpは4人の労働者の4.2倍のスケーリングを実現している。

関連論文リスト

• LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation [53.88286427894783]
  視覚言語モデル(VLM)は、ロボット分野において、言語コンテキストによる環境認識を可能にする強力なツールとして登場した。 しかし、彼らの計算フットプリントは、通常、それらをクラウド実行に制限し、リソースに制約のあるロボットへのローカルなデプロイによる低レイテンシの推論を妨げる。 本稿では,大規模フロンティアモデルからの複雑な空間意味推論を,組み込みGPUデバイス上でエッジ実行を行うための軽量な4BパラメータローカルVLMに転送する蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T09:11:59Z)
• ChunkFlow: Communication-Aware Chunked Prefetching for Layerwise Offloading in Distributed Diffusion Transformer Inference [13.062229091130115]
  ChunkFlowは、GPUメモリのための通信対応でチャンク粒度のオフロードランタイムである。 SGLangの既存のレイヤワイド・オフロードよりも1.28倍のステップタイム・スピードアップを実現している。 ChunkFlowは変更可能なメモリレイテンシトレードオフを公開し、小さなワークロードレシエーションでほぼゼロのステップタイムオーバーヘッドを回復する。
  論文  参考訳（メタデータ） (2026-05-11T23:41:16Z)
• Predictive Autoscaling for Node.js on Kubernetes: Lower Latency, Right-Sized Capacity [0.0]
  新たなキャパシティの準備が整うまでに,負荷がどこにあるかを予測する,予測スケーリングアルゴリズムを提案する。 一方、KEDAは154ms、HPAは522msである。
  論文  参考訳（メタデータ） (2026-04-21T17:25:39Z)
• Foundry: Template-Based CUDA Graph Context Materialization for Fast LLM Serving Cold Start [33.16822047715293]
  コールドスタートのレイテンシは、現代のLLMサービスプロバイダにとって依然として大きなボトルネックである。 既存のアプローチは脆いカーネル固有のパッチや実行可能なプロセスコンテキストに依存している。 本稿では、グラフトポロジと実行コンテキストの両方を永続化する、Foundryテンプレートベースのグラフ実体化システムを提案する。
  論文  参考訳（メタデータ） (2026-04-08T04:31:34Z)
• Tangram: Accelerating Serverless LLM Loading through GPU Memory Reuse and Affinity [9.05799486780744]
  本稿では、効率的なGPUメモリ再利用により、サーバーレス大規模言語モデルのロードを高速化する新しいシステムであるTangramを提案する。 我々は, 完全機能プロトタイプを実装し, タングラムの負荷速度を最大6.2倍に向上し, 冷間開始時のTTFTを23～55%削減する実験を行った。
  論文  参考訳（メタデータ） (2025-12-01T07:10:34Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。