論文の概要: On the Burstiness of Distributed Machine Learning Traffic

• arxiv url: http://arxiv.org/abs/2401.00329v1
• Date: Sat, 30 Dec 2023 21:33:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-01-03 17:54:30.748457
• Title: On the Burstiness of Distributed Machine Learning Traffic
• Title（参考訳）: 分散機械学習トラフィックのバースト性について
• Authors: Natchanon Luangsomboon, Fahimeh Fazel, J\"org Liebeherr, Ashkan Sobhani, Shichao Guan, Xingjun Chu
• Abstract要約: 本稿では,ResNet-50ニューラルネットワークのトレーニングによって発生する交通特性について検討する。 分析の結果,分散MLトラフィックは短時間で非常に高いバースト性を示すことがわかった。 トレーニングソフトウェアは,同一アプリケーション内の異なるソースからのバースト送信が混雑やパケット損失を生じさせないように,送信をオーケストレーションする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traffic from distributed training of machine learning (ML) models makes up a large and growing fraction of the traffic mix in enterprise data centers. While work on distributed ML abounds, the network traffic generated by distributed ML has received little attention. Using measurements on a testbed network, we investigate the traffic characteristics generated by the training of the ResNet-50 neural network with an emphasis on studying its short-term burstiness. For the latter we propose metrics that quantify traffic burstiness at different time scales. Our analysis reveals that distributed ML traffic exhibits a very high degree of burstiness on short time scales, exceeding a 60:1 peak-to-mean ratio on time intervals as long as 5~ms. We observe that training software orchestrates transmissions in such a way that burst transmissions from different sources within the same application do not result in congestion and packet losses. An extrapolation of the measurement data to multiple applications underscores the challenges of distributed ML traffic for congestion and flow control algorithms.
• Abstract（参考訳）: 機械学習モデル(ML)モデルの分散トレーニングによるトラフィックは、エンタープライズデータセンタにおけるトラフィック混在の大部分を占めています。 分散MLに取り組みながら、分散MLによって生成されたネットワークトラフィックはほとんど注目されていない。 テストベッドネットワーク上の測定値を用いて,ResNet-50ニューラルネットワークのトレーニングによって生じる交通特性を,その短期的バースト性に着目して検討する。 後者については、異なる時間スケールでトラフィックバーストネスを定量化するメトリクスを提案する。 分析の結果,分散MLトラフィックは短時間で非常に高いバースト性を示し,時間間隔5～msで60:1ピーク平均比を超えることがわかった。 トレーニングソフトウェアは、同一アプリケーション内の異なるソースからのバースト送信が混雑やパケットの損失をもたらすことのない方法で送信をオーケストレーションする。 複数のアプリケーションへの計測データの外挿は、渋滞とフロー制御アルゴリズムのための分散MLトラフィックの課題を浮き彫りにする。

関連論文リスト

• m4: A Learned Flow-level Network Simulator [14.802940782072122]
  フローレベルのシミュレータは、動的に割り当てられた送信速度を持つ連続フローとしてトラフィックを抽象化する。 機械学習を用いて関心のネットワークのダイナミクスを学習する,正確でスケーラブルなフローレベルシミュレータであるm4を提案する。
  論文  参考訳（メタデータ） (2025-03-03T17:51:08Z)
• Learning Traffic Anomalies from Generative Models on Real-Time Observations [49.1574468325115]
  トラフィックデータの複雑な空間的および時間的依存関係をキャプチャするために,時空間生成適応ネットワーク(STGAN)フレームワークを用いる。 スウェーデンのヨーテボリで2020年に収集された42台の交通カメラから、STGANをリアルタイムで分単位でリアルタイムで観測する。 その結果, 精度が高く, 偽陽性率の低い交通異常を効果的に検出できることが示唆された。
  論文  参考訳（メタデータ） (2025-02-03T14:23:23Z)
• NetFlowGen: Leveraging Generative Pre-training for Network Traffic Dynamics [72.95483148058378]
  我々は,NetFlowレコードからのトラフィックデータのみを用いて,トラフィックダイナミクスをキャプチャする汎用機械学習モデルを事前学習することを提案する。 ネットワーク特徴表現の統一,未ラベルの大規模トラフィックデータ量からの学習,DDoS攻撃検出における下流タスクのテストといった課題に対処する。
  論文  参考訳（メタデータ） (2024-12-30T00:47:49Z)
• Improving Traffic Flow Predictions with SGCN-LSTM: A Hybrid Model for Spatial and Temporal Dependencies [55.2480439325792]
  本稿ではSGCN-LSTM(Signal-Enhanced Graph Convolutional Network Long Short Term Memory)モデルを提案する。 PEMS-BAYロードネットワークトラフィックデータセットの実験は、SGCN-LSTMモデルの有効性を示す。
  論文  参考訳（メタデータ） (2024-11-01T00:37:00Z)
• Strada-LLM: Graph LLM for traffic prediction [62.2015839597764]
  交通予測における大きな課題は、非常に異なる交通条件によって引き起こされる多様なデータ分散を扱うことである。 近位交通情報を考慮した交通予測のためのグラフ対応LLMを提案する。 我々は、新しいデータ分散に直面する際に、ドメイン適応を効率的にするための軽量なアプローチを採用する。
  論文  参考訳（メタデータ） (2024-10-28T09:19:29Z)
• RACH Traffic Prediction in Massive Machine Type Communications [5.416701003120508]
  本稿では,ALOHAネットワークにおけるバーストトラフィック予測に適した機械学習ベースのフレームワークを提案する。 我々は,mMTCネットワークから頻繁に収集されたデータを活用することでLSTMネットワークの状態を更新する,新しい低複雑さオンライン予測アルゴリズムを開発した。 本研究では,単一基地局と数千のデバイスを異なるトラフィック発生特性を持つグループに編成したネットワーク上でのフレームワークの性能を評価する。
  論文  参考訳（メタデータ） (2024-05-08T17:28:07Z)
• Energy-Guided Data Sampling for Traffic Prediction with Mini Training Datasets [13.065729535009925]
  本稿では、畳み込みニューラルネットワーク(CNN)とLong Short-Term Memory(LSTM)アーキテクチャを融合して、トラフィックフローのダイナミクスを予測する革新的なソリューションを提案する。 本研究の重要な成果は,小規模な交通システムを対象としたシミュレーションから,大規模交通システムのトレーニングデータをサンプリングできることである。
  論文  参考訳（メタデータ） (2024-03-27T15:57:42Z)
• Traffic estimation in unobserved network locations using data-driven macroscopic models [2.3543188414616534]
  本稿では,自動交通カウンタとプローブ車両から収集したマクロモデルとマルチソースデータを利用して,これらの測定が不可能なリンクにおいて,交通流と走行時間を正確に推定する。 MaTEはマクロフロー理論に基礎を置いているため、全てのパラメータと変数は解釈可能である。 合成データを用いた実験により, サンプル外リンクの走行時間と交通流を正確に推定できることがわかった。
  論文  参考訳（メタデータ） (2024-01-30T15:21:50Z)
• Efficient Traffic State Forecasting using Spatio-Temporal Network Dependencies: A Sparse Graph Neural Network Approach [6.203371866342754]
  交通ネットワークにおける交通予測は、効果的な交通運営と管理にとって最重要事項である。 現在の研究では、長期的な交通予測(30分以上)は依然として難しい。 予測精度を保ちながら、トレーニングコストに対するスパーストレーニングを提案する。
  論文  参考訳（メタデータ） (2022-11-06T05:41:39Z)
• Correlating sparse sensing for large-scale traffic speed estimation: A Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
  本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。 次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-10-21T07:25:57Z)
• Road Network Guided Fine-Grained Urban Traffic Flow Inference [108.64631590347352]
  粗いトラフィックからのきめ細かなトラフィックフローの正確な推測は、新たな重要な問題である。 本稿では,道路ネットワークの知識を活かした新しい道路対応交通流磁化器(RATFM)を提案する。 提案手法は,高品質なトラフィックフローマップを作成できる。
  論文  参考訳（メタデータ） (2021-09-29T07:51:49Z)
• DeepFlow: Abnormal Traffic Flow Detection Using Siamese Networks [4.544151613454639]
  我々は,シームズニューラルネットワークに基づくトラフィック異常検出システムであるDeepFlowを開発した。 本モデルでは,車両から収集した軌跡データを解析することにより,異常な交通流を検出することができる。 その結果,DeepFlowはF1スコアの78%で異常なトラフィックパターンを検出し,他の既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-26T19:56:05Z)
• A Graph Convolutional Network with Signal Phasing Information for Arterial Traffic Prediction [63.470149585093665]
  動脈交通予測は 現代のインテリジェント交通システムの発展に 重要な役割を担っています 動脈交通予測に関する既存の研究の多くは、ループセンサからの流量と占有率の時間的測定のみを考慮し、上流と下流の検出器間のリッチな空間的関係を無視している。 我々は,信号タイミング計画から発生する空間情報を用いて,深層学習アプローチである拡散畳み込みリカレントニューラルネットワークを強化することで,このギャップを埋める。
  論文  参考訳（メタデータ） (2020-12-25T01:40:29Z)
• Prediction of Traffic Flow via Connected Vehicles [77.11902188162458]
  本稿では,交通機関が交通の流れを早期に制御し,渋滞を防止するための短期交通流予測フレームワークを提案する。 我々は,過去の流れデータと,コネクテッド・ビークル(CV)技術によって提供されるリアルタイムフィードや軌道データといった革新的な特徴に基づいて,将来の道路セグメントにおける流れを予測する。 本手法は, 流れの予測, CVが軌道に沿ったセグメントに現実的に遭遇する様々な事象の影響を組み込むことによって, 高度なモデリングを可能にすることを示す。
  論文  参考訳（メタデータ） (2020-07-10T16:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。