論文の概要: E2LLM: Towards Efficient LLM Serving in Heterogeneous Edge/Fog Environments

• arxiv url: http://arxiv.org/abs/2606.03770v1
• Date: Tue, 02 Jun 2026 15:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.102584
• Title: E2LLM: Towards Efficient LLM Serving in Heterogeneous Edge/Fog Environments
• Title（参考訳）: E2LLM:異種エッジ/フォッグ環境における効率的なLDMの実現に向けて
• Authors: Truong-Thanh Le, Amir Taherkordi, Hoang-Loc La, Frank Eliassen, Phuong Hoai Ha, Peiyuan Guan,
• Abstract要約: 大規模言語モデル(LLM)は現代のアプリケーションにとって不可欠なものとなっているが、その展開は依然として困難である。 E2LLMは、リソース制限設定において、効率的なLLMデプロイメントを実現するために設計されたフレームワークである。
• 参考スコア（独自算出の注目度）: 2.0144904127859236
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have become integral to modern applications, yet their deployment remains challenging. Beyond executing the models themselves, practical deployment must address cost efficiency, low latency, and optimal resource utilization. Conventional approaches typically assume that an entire model can be hosted on a single device, which does not hold in many real-world scenarios, particularly in Edge and Fog environments where device resources are constrained. In this paper, we introduce E2LLM, a framework designed to enable efficient LLM deployment in such resource limited settings. Rather than simply partitioning a single model across all available devices, E2LLM replicates the full model across multiple groups of devices (replicas) and applies model parallelism within each replica. Each replica is assigned a specialized role PREFILL or DECODER based on its efficiency in handling input and output tokens. This separation leverages the inherent differences between these two phases of LLM inference. To effectively organize devices, we utilize a Genetic Algorithm to form clusters that maximize system performance. Within each cluster, we apply Dynamic Programming to determine an optimal partitioning strategy that minimizes bottlenecks in model-parallel execution. Experimental results demonstrate that our approach adapts robustly to varying workloads, including scenarios with significant variation in input and output token lengths. Compared to the Splitwise baseline, E2LLM reduces average waiting time by over 50% under high-demand conditions
• Abstract（参考訳）: 大規模言語モデル(LLM)は現代のアプリケーションにとって不可欠なものとなっているが、その展開は依然として困難である。 モデル自体の実行以外にも、実用的なデプロイメントはコスト効率、低レイテンシ、最適なリソース利用に対処する必要があります。 従来のアプローチでは、モデル全体が単一のデバイスにホストできると考えられており、特にデバイスリソースが制約されたエッジやフォッグ環境では、多くの現実のシナリオでは保持できない。 本稿では,資源制限条件下でのLLMの効率的な展開を実現するためのフレームワークであるE2LLMを紹介する。 単一のモデルをすべての利用可能なデバイスに分割するのではなく、E2LLMは完全なモデルを複数のデバイスグループ(レプリカ)に複製し、各レプリカにモデル並列性を適用する。 各レプリカには、入力トークンと出力トークンの処理の効率性に基づいて、PreFILLまたはDECODERという特別なロールが割り当てられる。 この分離は、LLM推論のこれらの2つの相の固有の違いを利用する。 デバイスを効果的に整理するために,遺伝的アルゴリズムを用いてシステム性能を最大化するクラスタを形成する。 各クラスタ内で、モデル並列実行におけるボトルネックを最小限に抑える最適なパーティショニング戦略を決定するために、動的プログラミングを適用します。 実験結果から,入力および出力トークンの長さが著しく変化するシナリオを含む,さまざまなワークロードに対して,我々のアプローチが堅牢に適応していることが示唆された。 Splitwiseベースラインと比較して、E2LLMはオンデマンド条件下での平均待ち時間を50%以上削減する

関連論文リスト

• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• ElasticMM: Efficient Multimodal LLMs Serving with Elastic Multimodal Parallelism [9.93378263858092]
  マルチモーダル大言語モデル(MLLM)は、特徴抽出器とプロジェクションモジュールを組み込むことで、画像、ビデオ、オーディオを扱う。 現在の密結合のサービスアーキテクチャは、混合要求タイプを区別するのに苦労しています。 本稿では,リソースの不均一性に弾力的に適応する新しいサービスパラダイムであるElastic Multimodal Parallelism(EMP)を紹介する。
  論文  参考訳（メタデータ） (2025-07-14T08:53:48Z)
• Efficient Multi-modal Long Context Learning for Training-free Adaptation [96.21248144937627]
  本稿では,マルチモーダル長文脈学習(EMLoC)について紹介する。 モデル入力に直接デモ例を埋め込む。 長いコンテキストのマルチモーダル入力をコンパクトでタスク固有のメモリ表現に凝縮する。
  論文  参考訳（メタデータ） (2025-05-26T10:49:44Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• AmoebaLLM: Constructing Any-Shape Large Language Models for Efficient and Instant Deployment [13.977849745488339]
  AmoebaLLMは任意の形状の大規模言語モデルの即時導出を可能にする新しいフレームワークである。 AmoebaLLMは、様々なプラットフォームやアプリケーションに適した迅速なデプロイメントを著しく促進する。
  論文  参考訳（メタデータ） (2024-11-15T22:02:28Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models [16.16372459671255]
  大規模言語モデル(LLM)は通常、固定された計算予算を使用してトークンによって出力トークンを生成する。 LLMの各フィードフォワードネットワーク層に小さな補助モジュールを統合する新しいフレームワークを提案する。 訓練されたルータがオーラクルと異なる動作をしており、しばしば準最適解が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-01T16:10:21Z)
• MobiZO: Enabling Efficient LLM Fine-Tuning at the Edge via Inference Engines [28.18421624702502]
  本稿では,大規模言語モデル(LLM)のための資源効率の高い微調整フレームワークであるMobiZOを紹介する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅な高速化とメモリ節約を実現する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅なスピードアップとメモリ節約を実現している。
  論文  参考訳（メタデータ） (2024-09-23T20:14:09Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。