Fugu-MT 論文翻訳(概要): On the Burstiness of Distributed Machine Learning Traffic

論文の概要: On the Burstiness of Distributed Machine Learning Traffic

arxiv url: http://arxiv.org/abs/2401.00329v1
Date: Sat, 30 Dec 2023 21:33:59 GMT
ステータス: 処理完了
システム内更新日: 2024-01-03 17:54:30.748457
Title: On the Burstiness of Distributed Machine Learning Traffic
Title（参考訳）: 分散機械学習トラフィックのバースト性について
Authors: Natchanon Luangsomboon, Fahimeh Fazel, J\"org Liebeherr, Ashkan Sobhani, Shichao Guan, Xingjun Chu
Abstract要約: 本稿では,ResNet-50ニューラルネットワークのトレーニングによって発生する交通特性について検討する。分析の結果,分散MLトラフィックは短時間で非常に高いバースト性を示すことがわかった。トレーニングソフトウェアは,同一アプリケーション内の異なるソースからのバースト送信が混雑やパケット損失を生じさせないように,送信をオーケストレーションする。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Traffic from distributed training of machine learning (ML) models makes up a large and growing fraction of the traffic mix in enterprise data centers. While work on distributed ML abounds, the network traffic generated by distributed ML has received little attention. Using measurements on a testbed network, we investigate the traffic characteristics generated by the training of the ResNet-50 neural network with an emphasis on studying its short-term burstiness. For the latter we propose metrics that quantify traffic burstiness at different time scales. Our analysis reveals that distributed ML traffic exhibits a very high degree of burstiness on short time scales, exceeding a 60:1 peak-to-mean ratio on time intervals as long as 5~ms. We observe that training software orchestrates transmissions in such a way that burst transmissions from different sources within the same application do not result in congestion and packet losses. An extrapolation of the measurement data to multiple applications underscores the challenges of distributed ML traffic for congestion and flow control algorithms.
Abstract（参考訳）: 機械学習モデル(ML)モデルの分散トレーニングによるトラフィックは、エンタープライズデータセンタにおけるトラフィック混在の大部分を占めています。分散MLに取り組みながら、分散MLによって生成されたネットワークトラフィックはほとんど注目されていない。テストベッドネットワーク上の測定値を用いて,ResNet-50ニューラルネットワークのトレーニングによって生じる交通特性を,その短期的バースト性に着目して検討する。後者については、異なる時間スケールでトラフィックバーストネスを定量化するメトリクスを提案する。分析の結果,分散MLトラフィックは短時間で非常に高いバースト性を示し,時間間隔5～msで60:1ピーク平均比を超えることがわかった。トレーニングソフトウェアは、同一アプリケーション内の異なるソースからのバースト送信が混雑やパケットの損失をもたらすことのない方法で送信をオーケストレーションする。複数のアプリケーションへの計測データの外挿は、渋滞とフロー制御アルゴリズムのための分散MLトラフィックの課題を浮き彫りにする。

関連論文リスト

Learning Traffic Anomalies from Generative Models on Real-Time Observations [49.1574468325115]
トラフィックデータの複雑な空間的および時間的依存関係をキャプチャするために,時空間生成適応ネットワーク(STGAN)フレームワークを用いる。スウェーデンのヨーテボリで2020年に収集された42台の交通カメラから、STGANをリアルタイムで分単位でリアルタイムで観測する。その結果, 精度が高く, 偽陽性率の低い交通異常を効果的に検出できることが示唆された。
論文参考訳（メタデータ） (2025-02-03T14:23:23Z)
NetFlowGen: Leveraging Generative Pre-training for Network Traffic Dynamics [72.95483148058378]
我々は,NetFlowレコードからのトラフィックデータのみを用いて,トラフィックダイナミクスをキャプチャする汎用機械学習モデルを事前学習することを提案する。ネットワーク特徴表現の統一,未ラベルの大規模トラフィックデータ量からの学習,DDoS攻撃検出における下流タスクのテストといった課題に対処する。
論文参考訳（メタデータ） (2024-12-30T00:47:49Z)
Diffusion Models Meet Network Management: Improving Traffic Matrix Analysis with Diffusion-based Approach [12.549916064729313]
本稿では拡散型トラフィック行列解析フレームワークDiffusion-TMを提案する。我々は,データセットに5%の既知値が残されている場合でも,我々のフレームワークが有望な結果を得ることができることを示す。
論文参考訳（メタデータ） (2024-11-29T06:20:34Z)
Improving Traffic Flow Predictions with SGCN-LSTM: A Hybrid Model for Spatial and Temporal Dependencies [55.2480439325792]
本稿ではSGCN-LSTM(Signal-Enhanced Graph Convolutional Network Long Short Term Memory)モデルを提案する。 PEMS-BAYロードネットワークトラフィックデータセットの実験は、SGCN-LSTMモデルの有効性を示す。
論文参考訳（メタデータ） (2024-11-01T00:37:00Z)
RACH Traffic Prediction in Massive Machine Type Communications [5.416701003120508]
本稿では,ALOHAネットワークにおけるバーストトラフィック予測に適した機械学習ベースのフレームワークを提案する。我々は,mMTCネットワークから頻繁に収集されたデータを活用することでLSTMネットワークの状態を更新する,新しい低複雑さオンライン予測アルゴリズムを開発した。本研究では,単一基地局と数千のデバイスを異なるトラフィック発生特性を持つグループに編成したネットワーク上でのフレームワークの性能を評価する。
論文参考訳（メタデータ） (2024-05-08T17:28:07Z)
Energy-Guided Data Sampling for Traffic Prediction with Mini Training Datasets [13.065729535009925]
本稿では、畳み込みニューラルネットワーク(CNN)とLong Short-Term Memory(LSTM)アーキテクチャを融合して、トラフィックフローのダイナミクスを予測する革新的なソリューションを提案する。本研究の重要な成果は,小規模な交通システムを対象としたシミュレーションから,大規模交通システムのトレーニングデータをサンプリングできることである。
論文参考訳（メタデータ） (2024-03-27T15:57:42Z)
Efficient Traffic State Forecasting using Spatio-Temporal Network Dependencies: A Sparse Graph Neural Network Approach [6.203371866342754]
交通ネットワークにおける交通予測は、効果的な交通運営と管理にとって最重要事項である。現在の研究では、長期的な交通予測(30分以上)は依然として難しい。予測精度を保ちながら、トレーニングコストに対するスパーストレーニングを提案する。
論文参考訳（メタデータ） (2022-11-06T05:41:39Z)
Road Network Guided Fine-Grained Urban Traffic Flow Inference [108.64631590347352]
粗いトラフィックからのきめ細かなトラフィックフローの正確な推測は、新たな重要な問題である。本稿では,道路ネットワークの知識を活かした新しい道路対応交通流磁化器(RATFM)を提案する。提案手法は,高品質なトラフィックフローマップを作成できる。
論文参考訳（メタデータ） (2021-09-29T07:51:49Z)
DeepFlow: Abnormal Traffic Flow Detection Using Siamese Networks [4.544151613454639]
我々は,シームズニューラルネットワークに基づくトラフィック異常検出システムであるDeepFlowを開発した。本モデルでは,車両から収集した軌跡データを解析することにより,異常な交通流を検出することができる。その結果,DeepFlowはF1スコアの78%で異常なトラフィックパターンを検出し,他の既存手法よりも優れていた。
論文参考訳（メタデータ） (2021-08-26T19:56:05Z)
A Graph Convolutional Network with Signal Phasing Information for Arterial Traffic Prediction [63.470149585093665]
動脈交通予測は現代のインテリジェント交通システムの発展に重要な役割を担っています動脈交通予測に関する既存の研究の多くは、ループセンサからの流量と占有率の時間的測定のみを考慮し、上流と下流の検出器間のリッチな空間的関係を無視している。我々は,信号タイミング計画から発生する空間情報を用いて,深層学習アプローチである拡散畳み込みリカレントニューラルネットワークを強化することで,このギャップを埋める。
論文参考訳（メタデータ） (2020-12-25T01:40:29Z)
Prediction of Traffic Flow via Connected Vehicles [77.11902188162458]
本稿では,交通機関が交通の流れを早期に制御し,渋滞を防止するための短期交通流予測フレームワークを提案する。我々は,過去の流れデータと,コネクテッド・ビークル(CV)技術によって提供されるリアルタイムフィードや軌道データといった革新的な特徴に基づいて,将来の道路セグメントにおける流れを予測する。本手法は, 流れの予測, CVが軌道に沿ったセグメントに現実的に遭遇する様々な事象の影響を組み込むことによって, 高度なモデリングを可能にすることを示す。
論文参考訳（メタデータ） (2020-07-10T16:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。