論文の概要: DySCo: Dynamic Sharding for Collaborative Edge-Cloud LLM Inference with Depth-Synchronized Batching

• arxiv url: http://arxiv.org/abs/2610.08268v1
• Date: Tue, 06 Oct 2026 12:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.984253
• Title: DySCo: Dynamic Sharding for Collaborative Edge-Cloud LLM Inference with Depth-Synchronized Batching
• Title（参考訳）: DySCo:深部同期バッチを用いた協調エッジクラウドLLM推論のための動的シャーディング
• Abstract要約: 大規模言語モデル(LLM)は、広汎なインテリジェントアプリケーションをサポートするためにますます使われています。 LLMは主にクラウドにデプロイされるが、レイヤワイドのエッジクラウド推論により、リソースに制約のあるエッジデバイスは、フルにホストできないLLMにコントリビュートすることができる。 ローカルキャッシュを保持するエグゼキュータであるDySCoを紹介し、dyForwardを紹介します。
• 参考スコア（独自算出の注目度）: 1.6601126647731343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pervasive intelligent applications are increasingly deployed on mobile and Internet of Things (IoT) edge devices. Consequently, Large Language Models (LLMs) are increasingly used to support these applications. Yet, due to their high resource demands, LLMs are mostly deployed in the cloud. Layer-wise edge-cloud inference lets resource-constrained edge devices contribute computation to LLMs they cannot host in full. However, heterogeneous split points introduce two coupled inefficiencies. First, edge execution and communication create idle gaps between cloud invocations. Second, requests arriving at different model depths cannot be conventionally batched. We present DySCo, a collaborative runtime that keeps KV caches local and introduces dyForward, a model-aware layer-range executor that runs configurable contiguous layer ranges from resident model shards without reloading weights. For multi-edge serving settings, we introduce depth-synchronized batching (DSB), which advances heterogeneous requests to the deepest cut and batches their common suffix. Experiments across heterogeneous devices, two model families, and local and wide-area links show that idle gaps increase the latency of subsequent GPU forward calls even when waiting time is excluded, adding up to 25 ms of additional cloud-side suffix latency per decoding step in our measurements. At an average concurrency of eight, DSB improves throughput by 275% over FIFO, 48% over exact-match batching, and 79% over round-robin interleaving while reducing mean per-session latency. Together, these results show that requests with different edge-cloud splits can reuse resident cloud weights and share batched suffix computation. The artifact repository for this work is publicly available at: https://github.com/Large-scale-Sustainable-Computing-LSC/dysco-artifact
• Abstract（参考訳）: 広範なインテリジェントアプリケーションは、モバイルやIoT(Internet of Things)エッジデバイスにますますデプロイされている。 その結果、Large Language Models (LLM) はこれらのアプリケーションをサポートするためにますます使われています。 しかし、その高いリソース要求のため、LLMは主としてクラウドにデプロイされる。 レイヤワイドエッジクラウド推論により、リソース制約のあるエッジデバイスは、フルにホストできないLLMに計算をコントリビュートすることができる。 しかし、不均一なスプリットポイントは2つの結合非効率をもたらす。 第一に、エッジの実行と通信は、クラウド呼び出し間のアイドルギャップを生み出します。 第二に、異なるモデルの深さに届くリクエストは、従来はバッチ化できない。 我々は,KVキャッシュをローカルに保持するコラボレーティブランタイムであるDySCoを紹介した。dyForwardはモデル対応のレイヤーレンジエグゼキュータである。 マルチエッジサービス設定では、深度同期バッチ(DSB)を導入し、不均一なリクエストを最深部まで前進させ、共通接尾辞をバッチ化する。 ヘテロジニアスデバイス,2つのモデルファミリ,および局所および広域リンクを用いた実験により,アイドルギャップは待ち時間が除外された場合でも,その後のGPUフォワードコールの遅延を増大させ,デコードステップ毎に最大25ミリ秒のクラウド側サフィックスレイテンシを付加することを示した。 DSBは8つの平均並行処理で、FIFOよりも275%、正確なバッチ処理よりも48%、ラウンドロビンインターリービングよりも79%、セッション毎の平均遅延を低減している。 これらの結果は、異なるエッジクラウド分割の要求が、常駐するクラウド重みを再利用し、バッチ化された接尾辞計算を共有できることを示している。 https://github.com/Large-scale-Sustainable-Computing-LSC/dysco-artifact

関連論文リスト

• Unlocking Lossless Speedups in LLMs via Discrete Diffusion [67.4336730000437]
  大規模言語モデル(LLM)は、その成功の大部分は、次世代の予測(NTP)に負っている。 本稿では,ARモデル分布を定義する新しいモデルのクラスである拡散拡張LDMを紹介する。 我々はこれらのモデルのパラメータを2つのセットに分割する: AR重み、標準NTP目標を用いたトレーニング、軽量拡散重み、同時に複数のトークンを生成する訓練。
  論文  参考訳（メタデータ） (2026-09-03T15:48:43Z)
• CTA-Pipelining: A Latency-Oriented Spatial Scaling Method for Multi-GPU Systems [2.870762512009438]
  本稿では,共有メモリマルチGPUシステムを活用するための実行パラダイムであるCTA-pipeliningを紹介する。 遅延指向の空間スケーリング手法として、CTAパイプライニングは協調スレッドアレイレベルを活用する。 その結果、CTAパイプライニングはマイクロバッチに比べてレイテンシを最大31.8%削減することがわかった。
  論文  参考訳（メタデータ） (2026-07-08T18:54:08Z)
• HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
  エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。 損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。 Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-01-16T07:37:23Z)
• Splitwise: Collaborative Edge-Cloud Inference for LLMs via Lyapunov-Assisted DRL [1.0326810616158975]
  エッジデバイス上の大規模言語モデル(LLM)は、メモリと電力資源が限られているため、困難である。 本研究では,Lyapunov 支援の深層強化学習フレームワークである Splitwise を提案する。 実験の結果、Splitwiseはエンド・ツー・エンドのレイテンシを1.4x-2.8x削減し、既存のパーティショナと比較してエネルギー消費量を最大41%削減した。
  論文  参考訳（メタデータ） (2025-12-29T08:57:58Z)
• Why Should the Server Do It All?: A Scalable, Versatile, and Model-Agnostic Framework for Server-Light DNN Inference over Massively Distributed Clients via Training-Free Intermediate Feature Compression [6.932768187544348]
  スプリットコンピューティングにおける通信負荷とサーバ負荷の両方を削減するためにIFを圧縮する、リトレーニングフリーでアーキテクチャに依存しないフレームワークであるSLICERを紹介した。 標準的なビジョンとLLMワークロード全体にわたって、SLICERはアップリンクボリュームを最大10倍、サーバGPU時間を最大4.4倍削減する。
  論文  参考訳（メタデータ） (2025-11-03T08:44:13Z)
• Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving [4.309392302169281]
  エンジンレベルのプリフィル・デコード(PD)デアグリゲーションは干渉を避けるが、高いハードウェアと調整オーバーヘッドを引き起こす。 PDは、最大2.2倍のスループット、20倍のTTFT、2.5倍のTBTを達成する。
  論文  参考訳（メタデータ） (2025-07-09T07:27:18Z)
• A Novel Hat-Shaped Device-Cloud Collaborative Inference Framework for Large Language Models [12.644230479753476]
  従来のクラウドベースの大規模言語モデル(LLM)は、高精度な要件を満たすが、低遅延とプライバシー強化に対する重要な要求には欠ける。 我々は,U字型推論と投機的復号化の相補的長所を生かした,新しいデバイス-クラウド協調型推論フレームワークであるHATを提案する。 HATは,TTFTを41%,TBTを41%,TBTを77%削減し,有望な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-03-23T10:54:58Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud System [54.588242387136376]
  エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。 まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。 次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。 第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
  論文  参考訳（メタデータ） (2021-01-17T03:45:25Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。