論文の概要: Taming the Chaos: Coordinated Autoscaling for Heterogeneous and Disaggregated LLM Inference

• arxiv url: http://arxiv.org/abs/2508.19559v1
• Date: Wed, 27 Aug 2025 04:22:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.487815
• Title: Taming the Chaos: Coordinated Autoscaling for Heterogeneous and Disaggregated LLM Inference
• Title（参考訳）: カオスのモデリング:不均一かつ非凝集なLLM推論のためのコーディネートオートスケーリング
• Abstract要約: Serving Large Language Models (LLMs)は、従来のオートスケーラが不足するGPU集約的なタスクである。 我々は,P/D分散サービスにおけるコア課題に対処する,協調型自動スケーリングフレームワークであるHeteroScaleを紹介した。
• 参考スコア（独自算出の注目度）: 5.786961198115219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Serving Large Language Models (LLMs) is a GPU-intensive task where traditional autoscalers fall short, particularly for modern Prefill-Decode (P/D) disaggregated architectures. This architectural shift, while powerful, introduces significant operational challenges, including inefficient use of heterogeneous hardware, network bottlenecks, and critical imbalances between prefill and decode stages. We introduce HeteroScale, a coordinated autoscaling framework that addresses the core challenges of P/D disaggregated serving. HeteroScale combines a topology-aware scheduler that adapts to heterogeneous hardware and network constraints with a novel metric-driven policy derived from the first large-scale empirical study of autoscaling signals in production. By leveraging a single, robust metric to jointly scale prefill and decode pools, HeteroScale maintains architectural balance while ensuring efficient, adaptive resource management. Deployed in a massive production environment on tens of thousands of GPUs, HeteroScale has proven its effectiveness, increasing average GPU utilization by a significant 26.6 percentage points and saving hundreds of thousands of GPU-hours daily, all while upholding stringent service level objectives.
• Abstract（参考訳）: Serving Large Language Models (LLMs)は、特に最新のPrefill-Decode (P/D)分散アーキテクチャにおいて、従来のオートスケーラが不足するGPU集約的なタスクである。 このアーキテクチャシフトは強力だが、不均一なハードウェアの非効率使用、ネットワークボトルネック、プリフィルとデコードステージ間の重要な不均衡など、重要な運用上の課題をもたらす。 我々は,P/D分散サービスにおけるコア課題に対処する,協調型自動スケーリングフレームワークであるHeteroScaleを紹介した。 HeteroScaleは、異種ハードウェアとネットワークの制約に適応するトポロジ対応スケジューラと、プロダクションにおけるオートスケーリング信号の最初の大規模な実証的研究から生まれた、新しいメトリック駆動のポリシーを組み合わせる。 HeteroScaleは、単一の堅牢なメトリックを活用して、プレフィルとデコードプールを共同でスケールすることで、アーキテクチャのバランスを維持しながら、効率的で適応的なリソース管理を保証します。 数万のGPU上で大規模な運用環境にデプロイされたHeteroScaleは、その効果を証明し、平均GPU使用率を26.6ポイント引き上げ、毎日数十万のGPU時間を節約し、厳しいサービスレベルの目標を達成している。

関連論文リスト

• To Scale Up or To Scale Out: Evaluating Space-Time Costs of Compiled Logical Circuits on Modular Superconducting Quantum Processors [0.6024602799136752]
  主な戦略は、チップレットベースのスケーリングと分散アーキテクチャである。 本稿では,論理エンタングリング操作の高密度ワークロードの実行コストを定量的に測定する。 分散アーキテクチャは、効果的にモノリシックなアーキテクチャと比較して、時空性能が最大で指数関数的なペナルティをもたらすことがわかった。
  論文  参考訳（メタデータ） (2026-08-20T18:00:12Z)
• Hybrid Workflow Composition for Extreme-Scale Data Processing: A Case Study on the HL-LHC (Extended Version) [0.5156484100374059]
  本稿では,タスクセットの粒度とシステムレベルの制約の相互作用を特徴付けるための新しいシミュレーションフレームワークを提案する。 その結果、ハイブリッド合成戦略はスループットを最大3.8倍に向上し、ネットワークオーバーヘッドを14.9倍削減できることがわかった。
  論文  参考訳（メタデータ） (2026-07-29T13:07:31Z)
• SAGA: Synthetic Agentic Graph Architecture for Temporal Benchmark Generation [4.0999277836699894]
  SAGAは4相パイプラインを介して意味的にリッチな時間グラフを生成するシステムである。 構造的リアリズム、意味的豊かさ、および統一されたフレームワークにおける自動異常ラベルを実現する。 このシステムは、リアルタイムパイプラインの可視化、インタラクティブなマルチドメインチューニング、大規模GPUベースの実験のためのCLIをサポートする。
  論文  参考訳（メタデータ） (2026-07-19T15:09:21Z)
• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• Scalable Production Scheduling: Linear Complexity via Unified Homogeneous Graphs [0.1274452325287335]
  特徴に基づくホモジェナイゼーションを利用して、異なるノードロールを共有潜在空間に投影する統合グラフフレームワークを導入する。 これにより、標準的な同次グラフ同型ネットワークは、線形複雑度で複雑なリソース競合を捉えることができる。 我々は,一貫したゼロショットの一般化を図りながら,最先端の性能を実現していることを示す。
  論文  参考訳（メタデータ） (2026-04-26T19:00:34Z)
• Mixture of Heterogeneous Grouped Experts for Language Modeling [19.29654468661715]
  Mixture-of-Experts (MoE) に基づくLarge Language Models (LLM) は、産業アプリケーションにおいて、性能を効率的に拡張する能力において重要な要素である。 標準的なMoEは、均一な専門家サイズを強制し、様々なトークンレベルの複雑さと計算コストの整合に失敗する剛性を生成する。 そこで本稿では, 資源に配慮したフレキシブルな組み合わせを実現するための2段階のルーティング機構を導入する, 異種グループエキスパートの混合(MoHGE)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T02:05:56Z)
• ECHO: Encoding Communities via High-order Operators [8.970269049715933]
  トポロジ的アルゴリズムは意味的特徴を無視し、グラフニューラルネットワーク(GNN)は壊滅的な計算ボトルネックに直面している。 コミュニティ検出を適応的でマルチスケールの拡散プロセスとして再構成する,スケーラブルで自己管理型のアーキテクチャであるECHOを紹介する。 ECHOは、グローバル勾配の数学的精度を犠牲にすることなく、従来のO(N2)メモリボトルネックを完全にバイパスする。
  論文  参考訳（メタデータ） (2026-02-25T22:14:29Z)
• Design Space Exploration of DMA based Finer-Grain Compute Communication Overlap [0.8763937152756086]
  より微細な計算通信の重複をFiCCOと呼ぶ。 我々は,FiCCOがシャードレベルでのみ実行スケジュールの広い設計空間をオープンにしていることを示す。 次に、これらの非効率損失の詳細な特徴を提示し、FiCCOスケジュールの設計空間を提示し、最終的に共用非効率シグネチャでスケジュールをオーバーレイする。
  論文  参考訳（メタデータ） (2025-12-11T02:43:27Z)
• MSPT: Efficient Large-Scale Physical Modeling via Parallelized Multi-Scale Attention [8.605284164957984]
  マルチスケールパッチ変換器(MSPT, Multi-Scale Patch Transformer)は,パッチ内の局所的な注意点と,粗いパッチレベルの表現に対するグローバルな注意点を組み合わせたアーキテクチャである。 提案手法は, 標準PDEベンチマーク(弾性, 塑性, 流体力学, 多孔質流れ)と大規模空力データセットで検証する。
  論文  参考訳（メタデータ） (2025-12-01T14:43:46Z)
• A Multi-Stage Optimization Framework for Deploying Learned Image Compression on FPGAs [7.577235739757108]
  ディープラーニングベースの画像圧縮(lic)は、最先端のレート歪み(RD)性能を達成したが、これらのモデルをリソース制約付きFPGAにデプロイすることは大きな課題である。 この研究は、高性能浮動小数点モデルと効率的なハードウェアフレンドリな整数ベースの実装とのギャップを埋める、完全なマルチステージ最適化フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-11-21T10:55:44Z)
• Edge Collaborative Gaussian Splatting with Integrated Rendering and Communication [69.23838350582764]
  エッジ協調(ECO-GS)では,各ユーザが小さなGSモデルに切り替えて忠実さを保証し,遠隔大GSモデルで忠実さを保証できる。 低コストのレンダリングステータスとエッジパワー割り当てを協調的に最適化する統合通信(IRAC)を提案する。
  論文  参考訳（メタデータ） (2025-10-26T15:33:29Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• JEDI-linear: Fast and Efficient Graph Neural Networks for Jet Tagging on FPGAs [36.158374493924455]
  グラフニューラルネットワーク (GNN) は、CERN High Luminosity Large Hadron Collider (HLLHC) において、ジェットタグの異常な性能を示した。 本稿では,線形計算複雑性を持つ新しいGNNアーキテクチャであるJEDI-linearを提案する。 これは60ns未満のレイテンシを達成した初めてのインタラクションベースのGNNであり、現在はHL-LHC CMS Level-1トリガシステムで使用される要件を満たしている。
  論文  参考訳（メタデータ） (2025-08-21T11:40:49Z)
• STAMP: Scalable Task And Model-agnostic Collaborative Perception [24.890993164334766]
  STAMPは、異種エージェントのためのタスクおよびモデルに依存しない協調認識パイプラインである。 計算オーバーヘッドを最小限に抑え、スケーラビリティを高め、モデルのセキュリティを維持する。 第一種フレームワークとしてSTAMPは,スケーラブルでセキュアなモビリティシステムの研究を,レベル5の自律性に向けて進めることを目指している。
  論文  参考訳（メタデータ） (2025-01-24T16:27:28Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Multi-Level GNN Preconditioner for Solving Large Scale Problems [0.0]
  グラフニューラルネットワーク(GNN)はメッシュのような非構造化データから学ぶのに最適だが、小さな問題に制限されることが多い。 本稿では,GNNモデルを多レベルドメイン分解フレームワークに統合した新しいプレコンディショナーを提案する。 提案したGNNベースのプレコンディショナーは、Krylov法の効率を高めるために使用され、任意の精度の要求レベルに収束できるハイブリッド・ソルバとなる。
  論文  参考訳（メタデータ） (2024-02-13T08:50:14Z)
• Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
  我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。 ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
  論文  参考訳（メタデータ） (2023-05-29T21:32:15Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Finding the Task-Optimal Low-Bit Sub-Distribution in Deep Neural Networks [10.278350434623107]
  量子ニューラルネットワークは通常、メモリフットプリントを小さくし、計算の複雑さを小さくする必要がある。 本稿では,モデルに固有の最適潜伏部分分布を学習するための適応行列量子化法を提案する。 近代建築における画像分類と物体検出実験は,提案手法の有効性,一般化性,伝達性を示す。
  論文  参考訳（メタデータ） (2021-12-30T17:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。