論文の概要: TrimMoE A communication aware and adaptive depth framework for distributed edge inference
- arxiv url: http://arxiv.org/abs/2608.00573v1
- Date: Sat, 01 Aug 2026 10:19:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.783197
- Title: TrimMoE A communication aware and adaptive depth framework for distributed edge inference
- Title（参考訳）: TrimMoE 分散エッジ推論のための通信認識および適応深度フレームワーク
- Abstract要約: Serving Mixture-of-Experts (MoE) large language model across distributed edge server is scared by cross-server expert transmission。
本稿では,TrimMoEを提案する。TrimMoEは,レイヤスキップと信頼に基づく早期退避と,代用実行とサーバ専門家の選択を結合する。
異種10サーバテストベッドでは、TrimMoEは平均レイテンシを62.8%まで削減し、クロスサーバトラフィックとリモート実行比率を下げ、負荷下で高いスループットを維持する。
- 参考スコア（独自算出の注目度）: 44.83947237773358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Serving Mixture-of-Experts (MoE) large language models across distributed edge servers is bottlenecked by the cross-server expert transmission. The existing approaches mainly focus on how to reach a remote expert faster. However, in this paper, we instead consider whether a given layer, and the layers after it, need to be executed at all. To this end, a communication-aware adaptive-depth framework is proposed in this paper, termed TrimMoE, which couples layer skipping and confidence-based early exit with substitute execution and server-expert selection under a unified quality budget. Specifically, in the offline stage, TrimMoE freezes the backbone, trains the lightweight per-layer exit heads, calibrates the per-layer importance thresholds, and allocates the expert replicas by a skip/exit-aware redundancy benefit. In the online stage, a transition-aware look-ahead anticipates the token movement, so that the depth reduction targets the costliest transmissions, and besides, two feedback rules adapt the delay-quality weights and the exit threshold. Moreover, we prove that the substitution-and-skipping proxy degradation never exceeds the configured budget, and that the early exit is admitted only under a calibrated confidence gate. On a heterogeneous 10-server testbed with Switch-Base-8E, Qwen-MoE-A2.7B, and Mixtral-8x7B, TrimMoE reduces the average latency by up to 62.8%, lowers the cross-server traffic and the remote-execution ratio, and sustains high throughput under load, while keeping the task-quality degradation within a 2% bound.
- Abstract（参考訳）: Serving Mixture-of-Experts (MoE) large language model across distributed edge server is scared by the cross-server expert transmission。
既存のアプローチは主に、リモートの専門家にもっと早く到達する方法に重点を置いています。
しかし、この論文では、与えられた層とその後の層を全く実行する必要があるかどうかを考察する。
この目的のために,TrimMoEと呼ばれる通信対応型適応深度フレームワークが提案されている。このフレームワークは,レイヤスキップと信頼に基づく早期退避と,代用実行とサーバ専門家の選択を統一的な品質予算の下で結合する。
具体的には、オフラインの段階では、TrimMoEはバックボーンを凍結し、軽量な層ごとの出口ヘッドをトレーニングし、層ごとの重要しきい値を校正し、スキップ/エグジット対応の冗長性メリットによって専門家のレプリカを割り当てる。
オンラインの段階では、トランジション対応のルックアヘッドがトークンの動きを予測し、遅延品質の重みと出口閾値を2つのフィードバックルールで調整する。
さらに、置換・スキッピングプロキシ劣化は、設定された予算を超えず、早期出口は、校正された信頼ゲートの下でのみ認められることを証明した。
Switch-Base-8E、Qwen-MoE-A2.7B、Mixtral-8x7Bでテストされた異種10サーバでは、TrimMoEは平均遅延を62.8%まで削減し、クロスサーバトラフィックとリモート実行率を下げ、負荷下で高いスループットを維持しながらタスク品質の劣化を2%の範囲内に維持する。
関連論文リスト
- When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models [14.959514582161956]
エキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。
この仮定は、トークンがほぼ一様に専門家に分散される過分散ルーティングの下で分解されるのを観察する。
筆者らは,現在最も影響の低いドメインに対して,重要度を反復的に向上させるドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
論文 参考訳（メタデータ） (2026-09-03T20:21:20Z) - HetRoute Heterogeneous and Cost-aware Collaborative Routing Framework for Distributed Edge MoE Inference [47.0879800334801]
HetRouteは、分散エッジMoE推論のための異種コスト対応協調ルーティングフレームワークである。
HetRouteは平均推論遅延を59.0%、P99レイテンシを58.0%まで削減する。
論文 参考訳（メタデータ） (2026-08-01T10:30:01Z) - OrderMoE: An expert similarity driven distributed edge MoE inference [46.66948323823587]
本稿では,OrderMoEと呼ばれる,類似性に配慮したエキスパートアロケーションと分散デプロイメントフレームワークを紹介する。
推論レイテンシ、通信オーバヘッド、サーバのワークロード、推論品質のバランスを保ちながら、エッジMoE推論を高速化することを目指している。
実験の結果、OrderMoEは平均レイテンシ、テールレイテンシ、クロスサーバトラフィック、リモート専門家の呼び出し比率を著しく削減することがわかった。
論文 参考訳（メタデータ） (2026-07-19T09:20:21Z) - DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
投機的復号化はLarge Language Model (LLM)推論を加速させる。
最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。
我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
論文 参考訳（メタデータ） (2026-07-06T14:28:06Z) - WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。
WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。
NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
論文 参考訳（メタデータ） (2026-04-20T01:29:56Z) - Joint Routing and Model Pruning for Decentralized Federated Learning in Bandwidth-Constrained Multi-Hop Wireless Networks [16.79625047908881]
分散連合学習(D-FL)は、中央サーバーなしでプライバシ保護トレーニングを可能にする。
本稿では,ルーティング経路とプルーニング率を最適化し,通信遅延を所定の範囲内で維持する共同ルーティング・アンド・プルーニングフレームワークを提案する。
提案手法は,未処理システムと比較して平均伝送遅延を27.8%削減し,テスト精度を約12%向上することを示した。
論文 参考訳（メタデータ） (2026-03-16T12:25:27Z) - Distributed Training under Packet Loss [8.613477072763404]
信頼性の低いコネクションを利用するとレイテンシが低下するが、パケットを落としてモデルの精度と収束を犠牲にする可能性がある。
そこで本研究では,パケット損失の正確性と収束性を保証する原理的なエンドツーエンドソリューションを提案する。
この研究は、コミュニケーション効率の高いプロトコルと、現代の大規模モデルの訓練で要求される精度と保証のギャップを埋めるものである。
論文 参考訳（メタデータ） (2025-07-02T11:07:20Z) - Geminet: Learning the Duality-based Iterative Process for Lightweight Traffic Engineering in Changing Topologies [53.38648279089736]
Geminetは軽量でスケーラブルなMLベースのTEフレームワークで、トポロジの変更を処理できる。
そのニューラルネットワークサイズは、既存のスキームの0.04%から7%に過ぎない。
大規模なトポロジでトレーニングすると、Geminetは10ギB未満のメモリを消費し、HARPが要求する80ギBの8倍以下である。
論文 参考訳（メタデータ） (2025-06-30T09:09:50Z) - Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2023-03-26T16:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。