論文の概要: LLMs in Cloud: A Discussion on Architecture, Orchestration, and Inference

• arxiv url: http://arxiv.org/abs/2610.33475v1
• Date: Sat, 24 Oct 2026 05:53:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.336793
• Title: LLMs in Cloud: A Discussion on Architecture, Orchestration, and Inference
• Title（参考訳）: LLM in Cloud: アーキテクチャ、オーケストレーション、推論に関する議論
• Abstract要約: クラウドデータセンタにまたがる基盤となるLarge Language Model(LLM)の広範な展開は、ステートレスなディープラーニングから、分散メモリ集約型生成ワークロードへのパラダイムシフトを象徴するものだ。 しかしながら、厳格なサービスレベルオブジェクト(SLO)の下で巨大な基盤モデルを提供すると、物理的およびシステム的ボトルネックが顕在化します。 これらの課題には、永続的なHigh Bandwidth Memory(HBM)の壁、計算バウンドプリフィルとメモリ帯域バウンドデコーディングの運用イテレーション、爆発的なKey-Value(KV)キャッシュ拡張、禁止されたサーバレスコールドスタート、ハードウェア信頼性の脆弱性などがある。
• 参考スコア（独自算出の注目度）: 1.9847297291533248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread deployment of foundational Large Language Models (LLM) across cloud datacenters marks a fundamental paradigm shift from stateless deep learning toward distributed, memory-intensive generative workloads. However, serving massive foundation models under stringent Service Level Objectives (SLO) exposes critical physical and system bottlenecks. These challenges include the persistent High Bandwidth Memory (HBM) wall, operational asymmetry between compute-bound prefilling and memory-bandwidth-bound decoding, explosive Key-Value (KV) cache expansion, prohibitive serverless cold starts, and hardware reliability vulnerabilities. Existing literature reviews remain layer-siloed, decoupling low-level accelerator virtualization from cluster orchestration and runtime inference, while largely overlooking defining advancements from 2024 to 2026. To address these limitations, this study presents a comprehensive, cross-layer systematic review guided by the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) 2020 framework. We synthesize a holistic taxonomy unifying hardware virtualization, cluster-level scheduling, and runtime inference optimizations, including iteration-level continuous batching, prefill-decoding disaggregation, and hierarchical KV cache offloading. Furthermore, we evaluate resilient cloud-native service architectures, examining scale-to-zero serverless paradigms, fault-tolerant checkpointing against silent data corruption, and hardware-enforced Trusted Execution Environments (TEEs) for multi-tenant isolation. Finally, we formalize the multi-dimensional Pareto trade-offs governing throughput, latency, monetary cost, and confidentiality, outlining a forward-looking research roadmap spanning Compute Express Link (CXL) memory pooling, in-memory computing, and autonomous multi-agent control planes to guide future cloud LLM infrastructure.
• Abstract（参考訳）: クラウドデータセンタにまたがる基盤となるLarge Language Model(LLM)の広範な展開は、ステートレスなディープラーニングから、分散メモリ集約型生成ワークロードへの根本的なパラダイムシフトを象徴するものだ。 しかしながら、厳格なサービスレベルオブジェクト(SLO)の下で巨大な基盤モデルを提供すると、物理的およびシステム的ボトルネックが顕在化します。 これらの課題には、永続的なHigh Bandwidth Memory (HBM)の壁、計算バウンドプリフィルとメモリ帯域バウンドデコードの間の運用上の非対称性、爆発的なKey-Value (KV)キャッシュ拡張、サーバーレスコールドスタートの禁止、ハードウェア信頼性の脆弱性などが含まれる。 既存の文献レビューはレイヤサイロのままで、クラスタオーケストレーションとランタイム推論から低レベルのアクセラレータ仮想化を分離しています。 これらの制約に対処するため,本研究では,PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)2020フレームワークによってガイドされた,包括的で多層的なシステムレビューを示す。 ハードウェア仮想化、クラスタレベルのスケジューリング、実行時の推論最適化を統一した全体論的分類法を合成し、反復レベルの連続バッチ、プリフィルデコードデアグリゲーション、階層的なKVキャッシュオフロードを含む。 さらに、レジリエントなクラウドネイティブサービスアーキテクチャの評価、スケール・ツー・ゼロのサーバレスパラダイムの検証、サイレントデータ破損に対するフォールトトレラントなチェックポイント、マルチテナント分離のためのハードウェア強化されたTrusted Execution Environment(TEEs)を評価した。 最後に、スループット、レイテンシ、金銭的コスト、機密性を管理する多次元Paretoトレードオフを形式化し、Compute Express Link(CXL)メモリプール、インメモリコンピューティング、自律型マルチエージェントコントロールプレーンにまたがる先進的な研究ロードマップを概説する。

関連論文リスト

• Democratizing LLM Training with the Edge: Challenges, Systems, and the Road Ahead [74.51334617162264]
  大規模言語モデル(LLM)は、大量のデータをトレーニングし、デプロイすることができる。 しかし、これらのモデルとそのトレーニングデータの高さは、集中型開発を持続しにくくしています。 本稿では,クラウドにホストされたパラメータサーバを中心に構築された統合システムアーキテクチャについて述べる。
  論文  参考訳（メタデータ） (2026-10-23T06:11:51Z)
• LLM Inference in a Flash! [66.43896490006965]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。 我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
  論文  参考訳（メタデータ） (2026-09-14T18:04:30Z)
• Diffusion Language Models for Mobile Edge Agentic AI: Foundations, Applications, and Challenges [58.887152635127165]
  拡散言語モデル(DLM)は、モバイルエッジエージェント人工知能(AI)の非自己回帰的な代替手段を提供する DLMは複数の不確実なトークンを並列に更新し、生成プロセスを通して双方向のコンテキストを利用することができる。 この調査は、DLMの基礎をレビューし、レイテンシ、メモリ、エネルギ、帯域幅、プライバシ、信頼性制約の下でのエッジ設定に対する適合性を分析します。
  論文  参考訳（メタデータ） (2026-09-04T06:16:49Z)
• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• KV Cache Optimization Strategies for Scalable and Efficient LLM Inference [0.0]
  KVキャッシュは、Transformerベースの大規模言語モデル(LLM)の基本最適化である。 効率的なKVキャッシュ管理は、スケーラブルなLLMデプロイメントの1次課題となっている。 本稿では,最近のKVキャッシュ最適化手法を体系的に検討し,これらを5つの方向へ整理する。
  論文  参考訳（メタデータ） (2026-03-20T18:16:46Z)
• From Completion to Editing: Unlocking Context-Aware Code Infilling via Search-and-Replace Instruction Tuning [81.97788535387286]
  本稿では,エージェントによる検証・編集機構を統一された単一パス推論プロセスに内部化するフレームワークを提案する。 最小限のデータで、SRI-Coderは、ChatモデルがBaseモデルの完了性能を上回ることができる。 FIMスタイルのチューニングとは異なり、SRIは一般的なコーディング能力を保持し、標準のFIMに匹敵する推論遅延を維持する。
  論文  参考訳（メタデータ） (2026-01-19T20:33:53Z)
• Deep Global Clustering for Hyperspectral Image Segmentation: Concepts, Applications, and Open Challenges [1.9116784879310027]
  ハイパースペクトルイメージング(HSI)解析は、利用可能なメモリを超える大量のデータ量のために計算ボトルネックに直面している。 本稿では,メモリ効率の高いHSIセグメンテーションの概念フレームワークであるDeep Global Clustering (DGC)について述べる。 DGCは、重複するリージョンを持つ小さなパッチを使用して一貫性を強制し、コンシューマハードウェア上で30分未満のトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-12-30T12:10:43Z)
• Design and Optimization of Cloud Native Homomorphic Encryption Workflows for Privacy-Preserving ML Inference [0.0]
  ホモモルフィック暗号化(HE)は、暗号化されたデータに対する暗号計算を可能にする魅力的な技術として登場した。 大規模クラウドネイティブパイプラインにおけるHEの統合は、高い計算オーバーヘッド、オーケストレーションの複雑さ、モデル互換性の問題によって制限されている。 本稿では、プライバシML推論をサポートするクラウドネイティブな同型暗号化の設計と最適化のための体系的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-28T15:13:32Z)
• Understanding and Optimizing Multi-Stage AI Inference Pipelines [11.254219071373319]
  HERMESは不均一な多段LPM推論実行シミュレータである。 HERMESは、以前のフレームワークとは異なり、複数のモデルを同時に実行する異種クライアントをサポートする。 我々は、推論ステージがエンドツーエンドのレイテンシ、ハイブリッドパイプラインの最適戦略、リモートKVキャッシュ検索のアーキテクチャ的影響について検討する。
  論文  参考訳（メタデータ） (2025-04-14T00:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。