Fugu-MT 論文翻訳(概要): Scaling Intelligence: Designing Data Centers for Next-Gen Language Models

論文の概要: Scaling Intelligence: Designing Data Centers for Next-Gen Language Models

arxiv url: http://arxiv.org/abs/2506.15006v1
Date: Tue, 17 Jun 2025 22:29:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-19 19:35:51.497139
Title: Scaling Intelligence: Designing Data Centers for Next-Gen Language Models
Title（参考訳）: インテリジェンスをスケールする - 次世代言語モデルのためのデータセンタ設計
Authors: Jesmin Jahan Tithi, Hanjiang Wu, Avishaii Abuhatzera, Fabrizio Petrini,
Abstract要約: 大規模言語モデル(LLM)は、スケーラビリティ、効率性、コスト効率性を保証するために、データセンターアーキテクチャを根本的に再考する必要がある。我々の研究は、FLOPS、帯域幅とキャパシティ、複数のネットワークトポロジ、一般的な並列化/最適化戦略を共同で探求する包括的な協調設計フレームワークを提供する。私たちの発見は、実用的な洞察と、AIデータセンタを設計するための実践的なロードマップを提供します。
参考スコア（独自算出の注目度）: 0.13332839594069593
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The explosive growth of Large Language Models (LLMs) - such as GPT-4 with 1.8 trillion parameters - demands a radical rethinking of data center architecture to ensure scalability, efficiency, and cost-effectiveness. Our work provides a comprehensive co-design framework that jointly explores FLOPS, HBM bandwidth and capacity, multiple network topologies (two-tier vs. FullFlat optical), the size of the scale-out domain, and popular parallelism/optimization strategies used in LLMs. We introduce and evaluate FullFlat network architectures, which provide uniform high-bandwidth, low-latency connectivity between all nodes, and demonstrate their transformative impact on performance and scalability. Through detailed sensitivity analyses, we quantify the benefits of overlapping compute and communication, leveraging hardware-accelerated collectives, wider scale-out domains, and larger memory capacity. Our study spans both sparse (mixture of experts) and dense transformer-based LLMs, revealing how system design choices affect Model FLOPS Utilization (MFU = Model flops per token x Observed tokens per sec / Peak flops of the hardware) and overall throughput. For the co-design study, we extended and validated a performance modeling tool capable of predicting LLM runtime within 10% of real-world measurements. Our findings offer actionable insights and a practical roadmap for designing AI data centers that can efficiently support trillion-parameter models, reduce optimization complexity, and sustain the rapid evolution of AI capabilities.
Abstract（参考訳）: 大規模言語モデル(LLM)の爆発的な成長 - 1.8兆のパラメータを持つ GPT-4 など - は、スケーラビリティ、効率、コスト効率を確保するために、データセンターアーキテクチャを根本的に再考する必要がある。我々の研究は、FLOPS、HBM帯域幅と容量、複数のネットワークトポロジ(2層対FullFlat光)、スケールアウト領域のサイズ、LLMで使われる一般的な並列化/最適化戦略を共同で探求する包括的な協調設計フレームワークを提供する。本稿では,全ノード間の均一な高帯域幅低レイテンシ接続を実現するFullFlatネットワークアーキテクチャの導入と評価を行い,その性能と拡張性への影響を実証する。詳細な感度分析を通じて、ハードウェアアクセラレーションされた集合体、より大きなスケールアウトドメイン、より大きなメモリ容量を活用し、重なり合う計算と通信の利点を定量化する。我々の研究はスパース(エキスパートの混合)と高密度トランスフォーマーベースのLLMの両方にまたがっており、システム設計の選択がモデルFLOPS利用(MFU = Model flops per token x Observed tokens per sec / Peak flops of the hardware)と全体的なスループットにどのように影響するかを明らかにしている。本研究では,LLMのランタイムを実世界の実測値の10%以内で予測できる性能モデリングツールを拡張し,検証した。我々の発見は、数兆のパラメータモデルを効率的にサポートし、最適化の複雑さを減らし、AI能力の急速な進化を維持することができるAIデータセンターを設計するための実行可能な洞察と実践的なロードマップを提供する。

関連論文リスト

Deploying Large AI Models on Resource-Limited Devices with Split Federated Learning [39.73152182572741]
本稿では、SFLAM(Quantized Split Federated Fine-Tuning Large AI Model)と呼ばれる新しいフレームワークを提案する。エッジデバイスとサーバ間のトレーニング負荷を分割することで、SFLAMはデバイス上の大規模なモデルの操作を容易にすることができる。 SFLAMは、トレーニング効率を高めるために、量子化管理、電力制御、帯域幅割り当て戦略を取り入れている。
論文参考訳（メタデータ） (2025-04-12T07:55:11Z)
A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
論文参考訳（メタデータ） (2024-12-18T14:11:15Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Performance Modeling and Workload Analysis of Distributed Large Language Model Training and Inference [2.2231908139555734]
本稿では,分散LLMトレーニングと推論の一般的な性能モデリング手法とワークロード解析を提案する。文献や関連業界ベンダ(NVIDIAなど)の公開データによるパフォーマンス予測を検証する。
論文参考訳（メタデータ） (2024-07-19T19:49:05Z)
Efficient Heterogeneous Large Language Model Decoding with Model-Attention Disaggregation [15.35494431928751]
トランスフォーマーベースの大規模言語モデル(LLM)は、生成タスクにおいて顕著なパフォーマンスを示すと同時に、現実のサービスにおいて大きな課題をもたらす。 LLMデコーディングの効率を高めるために,モデルアテンションデアグリゲーションを導入する。分散ヘテロジニアスクラスタにモデルアテンションデアグリゲーションを組み込んだLLM推論システムであるLaminaを開発し,展開する。
論文参考訳（メタデータ） (2024-05-03T02:15:15Z)
When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-12-16T17:13:08Z)
COMET: A Comprehensive Cluster Design Methodology for Distributed Deep Learning Training [42.514897110537596]
現代のディープラーニング(DL)モデルは、トレーニングする専門的でハイエンドなノードの大規模なクラスタを必要とするサイズに成長しています。このようなクラスタを設計してパフォーマンスと利用の両方を最大化します。本稿では,並列化戦略と鍵クラスタリソースのプロビジョニングが分散DLトレーニングのパフォーマンスに与える影響を共同で研究する,総合的なクラスタ設計方法論とワークフローであるCOMETを紹介する。
論文参考訳（メタデータ） (2022-11-30T00:32:37Z)
FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
論文参考訳（メタデータ） (2020-12-17T08:20:09Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)
Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文参考訳（メタデータ） (2020-08-29T08:39:43Z)
On the Difficulty of Designing Processor Arrays for Deep Neural Networks [0.0]
カムーイ (Camuy) は、線形代数演算のための重み付き定常シストリックアレイの軽量モデルである。本稿では,必要サイクル,データ移動コスト,およびシストリックアレイの利用率を推定する方法を説明するために,人気モデルの解析を行う。
論文参考訳（メタデータ） (2020-06-24T19:24:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。