論文の概要: InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network

• arxiv url: http://arxiv.org/abs/2610.32638v1
• Date: Fri, 23 Oct 2026 13:51:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.535092
• Title: InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
• Title（参考訳）: A Reference Architecture for SLO-driven LLM Inference on a Telco Wide-Area Network
• Abstract要約: 通信インフラ上でのSLO(Service-Level Objective)駆動LLM推論のための参照アーキテクチャであるInferSliceを提案する。 BTが主導したInferSliceは、階層間のサービス分化、エラスティックスケールアウト、クライアントエッジ帯域幅のボトルネック、テンソル、パイプライン、データ並列性、WAN上のプリフィル/デコードデアグリゲーション(prefill/decode disaggregation)の到達度について評価されている。
• 参考スコア（独自算出の注目度）: 2.195299996324593
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM inference is increasingly deployed as a core service for enterprise and interactive applications, but sovereignty, compliance, latency and resource-locality requirements can limit the suitability of centralised cloud deployments. Telco operators offer geographically distributed compute and network infrastructure for addressing these constraints. However, existing LLM serving frameworks are designed for tightly coupled data centres and provide limited support for coordinating geographically distributed and heterogeneous resources. We present InferSlice, a reference architecture for Service-Level Objective (SLO)-driven LLM inference over a telco infrastructure, integrating network slicing, GPU partitioning, elastic serving and observability. Led by BT in collaboration with the University of Bristol and NVIDIA, and realised on the JOINER UK national-scale wide-area network (WAN), InferSlice is evaluated on service differentiation across tiers, elastic scale-out, client-edge bandwidth as a bottleneck, and the reach of tensor, pipeline, data parallelism, and prefill/decode disaggregation over the WAN. Our results show that, on a general-purpose telco network, tiers yield distinct latency-throughput regimes, and weight streaming shortens scale-out time. Replication is placement-insensitive but memory-bound; pipeline parallelism tolerates near- and mid-cross-site hops, while tensor parallelism and disaggregation fail beyond a single subnet hop. We share practical insights from operating SLO-driven inference on a telco network, lessons learned and open questions, and hope to encourage further research on distributed and heterogeneous LLM inference systems.
• Abstract（参考訳）: LLM推論は、エンタープライズおよびインタラクティブアプリケーションの中核サービスとしてますます多くデプロイされているが、主権、コンプライアンス、レイテンシ、リソースローカル性要件は、集中型クラウドデプロイメントの適合性を制限している。 Telcoオペレータは、これらの制約に対処するための地理的に分散した計算とネットワークインフラストラクチャを提供する。 しかし、既存のLLMサービスフレームワークは、緊密に結合したデータセンターのために設計されており、地理的に分散した異種資源を調整するための限られたサポートを提供する。 本稿では,通信インフラ上でのSLO(Service-Level Objective)駆動LLM推論のための参照アーキテクチャであるInferSliceを紹介し,ネットワークスライシング,GPUパーティショニング,弾性サービス,可観測性を統合する。 BTがブリストル大学とNVIDIAと共同で開発し、JOINER UK National-scale wide-area network (WAN)で実現したInferSliceは、階層間のサービス分化、弾力性のあるスケールアウト、クライアントエッジ帯域幅をボトルネックとして評価し、テンソル、パイプライン、データ並列性、WAN上のプリフィル/デコードディスアグリゲーションの到達度を評価している。 この結果から,汎用通信網では遅延スループットの異なる階層が得られ,重み付きストリーミングはスケールアウト時間を短縮することがわかった。 パイプラインの並列性は、ほぼクロスサイトホップと中クロスサイトホップを許容する一方、テンソルの並列性と分解は、1つのサブネットホップを超えて失敗する。 我々は,通信ネットワーク上でのSLO駆動推論の運用,学習とオープンな質問の実践的知見を共有し,分散および異種LSM推論システムに関するさらなる研究を奨励したいと願っている。

関連論文リスト

• Large Language Models over Networks: Collaborative Intelligence under Resource Constraints [64.76676115046651]
  大規模言語モデル(LLMs)は、スマートフォンアシスタントから自律運転まで、アプリケーションを動かす社会を変えつつある。 しかし、クラウドベースのLLMサービスだけでは、成長するアプリケーションのクラスには役に立たない。 本稿では、複数の独立したLLMがタスクレベルで協調するパラダイムである協調インテリジェンスに焦点を当てる。
  論文  参考訳（メタデータ） (2026-05-09T02:42:39Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
  大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。 本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-11T02:48:00Z)
• FSD-Inference: Fully Serverless Distributed Inference with Scalable Cloud Communication [2.1301190271783317]
  FSD-Inferenceは、分散ML推論のための、初めて完全にサーバレスで高度にスケーラブルなシステムである。 我々は、クラウドベースのパブリッシュ/サブスクライブ/キューとオブジェクトストレージの両方を活用する、ML推論ワークロードのための、新しい完全なサーバレス通信スキームを紹介します。
  論文  参考訳（メタデータ） (2024-03-22T13:31:24Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Federated Learning with Cooperating Devices: A Consensus Approach for Massive IoT Networks [8.456633924613456]
  分散システムにおける機械学習モデルをトレーニングするための新しいパラダイムとして、フェデレートラーニング(FL)が登場している。 提案するFLアルゴリズムは,ネットワーク内のデータ操作を行うデバイスとの協調を利用して,完全に分散された(あるいはサーバレス)学習手法を提案する。 このアプローチは、分散接続とコンピューティングを特徴とするネットワークを超えて、5G 内で FL を統合するための基盤となる。
  論文  参考訳（メタデータ） (2019-12-27T15:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。