Fugu-MT 論文翻訳(概要): Routing for Large ML Models

論文の概要: Routing for Large ML Models

arxiv url: http://arxiv.org/abs/2503.05324v1
Date: Fri, 07 Mar 2025 11:02:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-10 12:20:24.599624
Title: Routing for Large ML Models
Title（参考訳）: 大規模MLモデルのルーティング
Authors: Ofir Cohen, Jose Yallouz Michael Schapira, Shahar Belkar, Tal Mizrahi,
Abstract要約: 大規模言語モデル(LLM)やその他の大規模機械学習モデルのトレーニングには、データセンターネットワーク間で大量のデータの通信が繰り返される。本稿では,LLMやその他の大規模MLモデルのトレーニングにおいて,ネットワーク全体の効率をテキスト化するためのアルゴリズムフレームワークを提案する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Training large language models (LLMs), and other large machine learning models, involves repeated communication of large volumes of data across a data center network. The communication patterns induced by these training process exhibit high regularity and persistence, giving rise to significant opportunities for optimizing the manner in which flows are routed across the network. We present an algorithmic framework for \textit{quantifying} network-wide efficiency in the context of training LLMs (and other large-scale ML models), and for periodically \textit{optimizing} routing with respect to this global metric.
Abstract（参考訳）: 大規模言語モデル(LLM)やその他の大規模機械学習モデルのトレーニングには、データセンターネットワーク間で大量のデータの通信が繰り返される。これらのトレーニングプロセスによって引き起こされるコミュニケーションパターンは、高い規則性と永続性を示し、ネットワークを横断するフローの経路を最適化する重要な機会をもたらす。本稿では,LLM(および他の大規模MLモデル)のトレーニングにおけるネットワーク全体の効率向上のためのアルゴリズムフレームワークを提案する。

関連論文リスト

Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文参考訳（メタデータ） (2024-10-28T13:48:43Z)
Lightweight Cross-Modal Representation Learning [0.07499722271664146]
低コストなクロスモーダル表現学習は、テキスト、オーディオ、画像、ビデオなどの様々なモダリティにまたがる意味表現の導出に不可欠である。光CRL(Lightweight Cross-Modal Representation Learning)という新しいアプローチを導入する。この方法では、DFE(Deep Fusion)と呼ばれる単一のニューラルネットワークを使用し、複数のモードから共有潜在表現空間にデータを投影する。
論文参考訳（メタデータ） (2024-03-07T16:50:25Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
NetLLM: Adapting Large Language Models for Networking [36.61572542761661]
我々は,ネットワーク問題を解決するために低努力でLLMの強力な能力を活用するためのコヒーレントな設計を提供する最初のフレームワークであるNetLLMを紹介する。具体的には、NetLLMはLLMにネットワーク上のマルチモーダルデータを効果的に処理し、タスク固有の回答を効率的に生成する権限を与える。
論文参考訳（メタデータ） (2024-02-04T04:21:34Z)
On Optimizing the Communication of Model Parallelism [74.15423270435949]
大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
論文参考訳（メタデータ） (2022-11-10T03:56:48Z)
DANCE: DAta-Network Co-optimization for Efficient Segmentation Model Training and Inference [85.02494022662505]
DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
論文参考訳（メタデータ） (2021-07-16T04:58:58Z)
Applying Graph-based Deep Learning To Realistic Network Scenarios [5.453745629140304]
本稿では,ネットワーク内のパスごとの平均遅延を正確に推定できるグラフベースの新しいディープラーニングモデルを提案する。提案モデルでは,トレーニングフェーズ中に見つからないトポロジ,ルーティング構成,キュースケジューリングポリシ,トラフィック行列をうまく一般化することができる。
論文参考訳（メタデータ） (2020-10-13T20:58:59Z)
Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文参考訳（メタデータ） (2020-08-29T08:39:43Z)
Communication-Efficient and Distributed Learning Over Wireless Networks: Principles and Applications [55.65768284748698]
機械学習(ML)は、第5世代(5G)通信システムなどのための有望なイネーブルである。本稿では、関連するコミュニケーションとMLの原則を概観し、選択したユースケースでコミュニケーション効率と分散学習フレームワークを提示することを目的とする。
論文参考訳（メタデータ） (2020-08-06T12:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。