論文の概要: On the Burstiness of Distributed Machine Learning Traffic
- arxiv url: http://arxiv.org/abs/2401.00329v1
- Date: Sat, 30 Dec 2023 21:33:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 17:54:30.748457
- Title: On the Burstiness of Distributed Machine Learning Traffic
- Title(参考訳): 分散機械学習トラフィックのバースト性について
- Authors: Natchanon Luangsomboon, Fahimeh Fazel, J\"org Liebeherr, Ashkan
Sobhani, Shichao Guan, Xingjun Chu
- Abstract要約: 本稿では,ResNet-50ニューラルネットワークのトレーニングによって発生する交通特性について検討する。
分析の結果,分散MLトラフィックは短時間で非常に高いバースト性を示すことがわかった。
トレーニングソフトウェアは,同一アプリケーション内の異なるソースからのバースト送信が混雑やパケット損失を生じさせないように,送信をオーケストレーションする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traffic from distributed training of machine learning (ML) models makes up a
large and growing fraction of the traffic mix in enterprise data centers. While
work on distributed ML abounds, the network traffic generated by distributed ML
has received little attention. Using measurements on a testbed network, we
investigate the traffic characteristics generated by the training of the
ResNet-50 neural network with an emphasis on studying its short-term
burstiness. For the latter we propose metrics that quantify traffic burstiness
at different time scales. Our analysis reveals that distributed ML traffic
exhibits a very high degree of burstiness on short time scales, exceeding a
60:1 peak-to-mean ratio on time intervals as long as 5~ms. We observe that
training software orchestrates transmissions in such a way that burst
transmissions from different sources within the same application do not result
in congestion and packet losses. An extrapolation of the measurement data to
multiple applications underscores the challenges of distributed ML traffic for
congestion and flow control algorithms.
- Abstract(参考訳): 機械学習モデル(ML)モデルの分散トレーニングによるトラフィックは、エンタープライズデータセンタにおけるトラフィック混在の大部分を占めています。
分散MLに取り組みながら、分散MLによって生成されたネットワークトラフィックはほとんど注目されていない。
テストベッドネットワーク上の測定値を用いて,ResNet-50ニューラルネットワークのトレーニングによって生じる交通特性を,その短期的バースト性に着目して検討する。
後者については、異なる時間スケールでトラフィックバーストネスを定量化するメトリクスを提案する。
分析の結果,分散MLトラフィックは短時間で非常に高いバースト性を示し,時間間隔5~msで60:1ピーク平均比を超えることがわかった。
トレーニングソフトウェアは、同一アプリケーション内の異なるソースからのバースト送信が混雑やパケットの損失をもたらすことのない方法で送信をオーケストレーションする。
複数のアプリケーションへの計測データの外挿は、渋滞とフロー制御アルゴリズムのための分散MLトラフィックの課題を浮き彫りにする。
関連論文リスト
- Traffic estimation in unobserved network locations using data-driven
macroscopic models [2.3543188414616534]
本稿では,自動交通カウンタとプローブ車両から収集したマクロモデルとマルチソースデータを利用して,これらの測定が不可能なリンクにおいて,交通流と走行時間を正確に推定する。
MaTEはマクロフロー理論に基礎を置いているため、全てのパラメータと変数は解釈可能である。
合成データを用いた実験により, サンプル外リンクの走行時間と交通流を正確に推定できることがわかった。
論文 参考訳(メタデータ) (2024-01-30T15:21:50Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳(メタデータ) (2023-10-04T09:39:05Z) - Leveraging Neo4j and deep learning for traffic congestion simulation &
optimization [0.0]
渋滞や事故の場合に交通が後進的に伝播し,道路の他の部分への全体的影響を示す。
また、実時間トラフィックデータに基づいて連続的なRNN-LSTM(Long Short-Term Memory)ディープラーニングモデルを訓練し、道路固有の渋滞に基づいてシミュレーション結果の精度を評価する。
論文 参考訳(メタデータ) (2023-04-01T01:23:10Z) - Efficient Traffic State Forecasting using Spatio-Temporal Network
Dependencies: A Sparse Graph Neural Network Approach [6.203371866342754]
交通ネットワークにおける交通予測は、効果的な交通運営と管理にとって最重要事項である。
現在の研究では、長期的な交通予測(30分以上)は依然として難しい。
予測精度を保ちながら、トレーニングコストに対するスパーストレーニングを提案する。
論文 参考訳(メタデータ) (2022-11-06T05:41:39Z) - Correlating sparse sensing for large-scale traffic speed estimation: A
Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。
次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
論文 参考訳(メタデータ) (2022-10-21T07:25:57Z) - Traffic incident duration prediction via a deep learning framework for
text description encoding [9.424574945499842]
本稿では,限られた情報から入射時間を予測するための新しい融合フレームワークを提案する。
申請地域はサンフランシスコ市であり、交通事故記録と過去の交通渋滞情報の両方が豊富である。
論文 参考訳(メタデータ) (2022-09-19T03:16:13Z) - Road Network Guided Fine-Grained Urban Traffic Flow Inference [108.64631590347352]
粗いトラフィックからのきめ細かなトラフィックフローの正確な推測は、新たな重要な問題である。
本稿では,道路ネットワークの知識を活かした新しい道路対応交通流磁化器(RATFM)を提案する。
提案手法は,高品質なトラフィックフローマップを作成できる。
論文 参考訳(メタデータ) (2021-09-29T07:51:49Z) - DeepFlow: Abnormal Traffic Flow Detection Using Siamese Networks [4.544151613454639]
我々は,シームズニューラルネットワークに基づくトラフィック異常検出システムであるDeepFlowを開発した。
本モデルでは,車両から収集した軌跡データを解析することにより,異常な交通流を検出することができる。
その結果,DeepFlowはF1スコアの78%で異常なトラフィックパターンを検出し,他の既存手法よりも優れていた。
論文 参考訳(メタデータ) (2021-08-26T19:56:05Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳(メタデータ) (2021-06-14T11:42:46Z) - A Graph Convolutional Network with Signal Phasing Information for
Arterial Traffic Prediction [63.470149585093665]
動脈交通予測は 現代のインテリジェント交通システムの発展に 重要な役割を担っています
動脈交通予測に関する既存の研究の多くは、ループセンサからの流量と占有率の時間的測定のみを考慮し、上流と下流の検出器間のリッチな空間的関係を無視している。
我々は,信号タイミング計画から発生する空間情報を用いて,深層学習アプローチである拡散畳み込みリカレントニューラルネットワークを強化することで,このギャップを埋める。
論文 参考訳(メタデータ) (2020-12-25T01:40:29Z) - Prediction of Traffic Flow via Connected Vehicles [77.11902188162458]
本稿では,交通機関が交通の流れを早期に制御し,渋滞を防止するための短期交通流予測フレームワークを提案する。
我々は,過去の流れデータと,コネクテッド・ビークル(CV)技術によって提供されるリアルタイムフィードや軌道データといった革新的な特徴に基づいて,将来の道路セグメントにおける流れを予測する。
本手法は, 流れの予測, CVが軌道に沿ったセグメントに現実的に遭遇する様々な事象の影響を組み込むことによって, 高度なモデリングを可能にすることを示す。
論文 参考訳(メタデータ) (2020-07-10T16:00:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。