論文の概要: Workload-Static Optical Circuit Switching For Scalable LLM Inference Decode
- arxiv url: http://arxiv.org/abs/2611.05104v1
- Date: Tue, 03 Nov 2026 16:00:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 14:26:11.448244
- Title: Workload-Static Optical Circuit Switching For Scalable LLM Inference Decode
- Title(参考訳): スケーラブルLLM推論デコードのためのワークロード静的光回路スイッチング
- Abstract要約: LLM推論デコードでは、レイテンシがユーザ毎の対話性に直接制限される、きめ細かい集合を実行する。
動作負荷定常型光回路スイッチング(OCS: Workload-static optical circuit switch)を提案する。
OCSファブリックは最大65%、エネルギー効率は最大119%向上し、2:1以上のパケット交換ファブリックは最大119%向上した。
- 参考スコア(独自算出の注目度): 0.7805745188467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM inference decode executes fine-grained collectives whose latency directly limits per-user interactivity, yet scale-up fabrics are still built from electronic packet switches designed for training. We observe that, for a given model deployment and parallelization, the communication structure of decode is fixed, and propose workload-static optical circuit switching (OCS): circuits are configured once per deployment, co-designed with model parallelism and with topology-aware collective schedules that turn spare accelerator ports into fewer communication phases or higher bandwidth. We evaluate this design with GXNET, a graph-based workload emulator coupled to analytical and flit-level network models grounded in hardware measurements. In a 576-accelerator scale-up domain serving 5T-parameter MoE models with up to 5M tokens of context, all-OCS fabrics improve interactivity by up to 65% and energy efficiency by up to 119% over 4:1 oversubscribed packet-switched fabrics.
- Abstract(参考訳): LLM推論デコードでは、ユーザ毎の対話性に直接遅延が制限される粒度の細かい集合体が実行されるが、トレーニング用に設計された電子パケットスイッチからスケールアップファブリックが構築されている。
モデル配置と並列化については,デコードの通信構造が固定され,ワークロード静的光回路スイッチング (OCS) が提案されている。
この設計をGXNETを用いて評価する。GXNETは,ハードウェア計測に基づく解析的およびフレットレベルのネットワークモデルと結合したグラフベースのワークロードエミュレータである。
最大5Mトークンの5TパラメータMOEモデルを提供する576アクセラレータのスケールアップドメインでは、全OCSファブリックは最大65%、エネルギー効率は4:1以上のパケット交換ファブリックよりも119%向上する。
関連論文リスト
- Agentic AI for Scalable and Robust Optical Systems Control [23.755794071124853]
AgentOpticsは、MCP(Model Context Protocol)上に構築された高忠実で自律的な光学系制御のためのエージェントAIフレームワークである。
8つの代表的な光学デバイスに64の標準MPPツールを実装し,要求理解,役割認識応答,多段階協調,言語的変動に対する堅牢性,エラー処理を評価するための410タスクベンチマークを構築した。
AgentOpticsは平均タスク成功率87.7%--99.0%を達成した。
論文 参考訳(メタデータ) (2026-02-23T18:54:32Z) - PASS-Enhanced MEC: Joint Optimization of Task Offloading and Uplink PASS Beamforming [67.78883135636657]
ピンチアンテナシステム (PASS) によるモバイルエッジコンピューティング (MEC) アーキテクチャについて検討した。
PASSは、重要な経路損失と潜在的な信号遮断を効果的に軽減しつつ、短距離ライン・オブ・ライト(LoS)リンクを確立する。
ネットワーク遅延最小化問題を定式化し、アップリンクPASSビームフォーミングとタスクオフロードを共同で最適化する。
論文 参考訳(メタデータ) (2025-10-27T03:04:46Z) - Enabling Reconfiguration-Communication Overlap for Collective Communication in Optical Networks [24.555035126899654]
大規模分散機械学習(DML)トレーニングワークロードでは,集合的コミュニケーションが広く採用されている。
既存の光配線型CCスキームはワンショットネットワーク再構成を採用している」
本稿では,要求対応光ネットワークフレームワークSWOTを提案する。
論文 参考訳(メタデータ) (2025-10-22T07:34:04Z) - CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。
CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。
トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
論文 参考訳(メタデータ) (2025-09-24T07:54:01Z) - Swap Network Augmented Ansätze on Arbitrary Connectivity [0.0]
任意の接続グラフに対してキュービットルーティングを最適化するアルゴリズムを導入し、任意のキュービット間の直接通信を可能にするスワップネットワークを実現する。
次に、導出スワップネットワークを層状で接続性に配慮したアンセットに埋め込むことにより、回路層とキュービットルーティングの共設計を提案する。
この構造は、アンザッツの訓練性を大幅に改善し、資源の削減による性能の向上につながった。
論文 参考訳(メタデータ) (2025-07-31T15:56:28Z) - MixNet: A Runtime Reconfigurable Optical-Electrical Fabric for Distributed Mixture-of-Experts Training [25.43221950192341]
Mixture-of-Expert(MoE)モデルは、名前のついた専門家を1つのトークンベースで選択的に活性化することで、従来のモデルより優れている。
このゲート計算は、事前に決定できない動的通信を生成する。
我々は、分散MoEトレーニング中にトポロジ再構成をアンロックするMixNetと呼ばれる第一種システムを提案する。
論文 参考訳(メタデータ) (2025-01-07T16:19:40Z) - Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2023-03-26T16:09:48Z) - Interleaving: Modular architectures for fault-tolerant photonic quantum
computing [50.591267188664666]
フォトニック核融合型量子コンピューティング(FBQC)は低損失フォトニック遅延を用いる。
FBQCのモジュールアーキテクチャとして,これらのコンポーネントを結合して「インターリービングモジュール」を形成するアーキテクチャを提案する。
遅延の乗法的パワーを行使すると、各加群はヒルベルト空間に数千の物理量子ビットを加えることができる。
論文 参考訳(メタデータ) (2021-03-15T18:00:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。