論文の概要: Demystifying the Performance of Data Transfers in High-Performance Research Networks

• arxiv url: http://arxiv.org/abs/2308.10312v1
• Date: Sun, 20 Aug 2023 16:17:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 16:08:24.279347
• Title: Demystifying the Performance of Data Transfers in High-Performance Research Networks
• Title（参考訳）: 高性能研究ネットワークにおけるデータ転送性能の解明
• Authors: Ehsan Saeedizade, Bing Zhang, Engin Arslan
• Abstract要約: ファイル転送のための主要なパフォーマンス指標を収集し,保存するための,スケーラブルでエンドツーエンドな監視フレームワークを提案する。 提案するフレームワークでは,最大400のホスト毎の転送と40,000以上の転送を監視でき,パフォーマンス統計を1秒の精度で収集することができる。 また、収集した性能指標を自動的に処理し、Fスコア87～98%で性能異常の根本原因を特定する手法も導入した。
• 参考スコア（独自算出の注目度）: 6.458147381472771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-speed research networks are built to meet the ever-increasing needs of data-intensive distributed workflows. However, data transfers in these networks often fail to attain the promised transfer rates for several reasons, including I/O and network interference, server misconfigurations, and network anomalies. Although understanding the root causes of performance issues is critical to mitigating them and increasing the utilization of expensive network infrastructures, there is currently no available mechanism to monitor data transfers in these networks. In this paper, we present a scalable, end-to-end monitoring framework to gather and store key performance metrics for file transfers to shed light on the performance of transfers. The evaluation results show that the proposed framework can monitor up to 400 transfers per host and more than 40, 000 transfers in total while collecting performance statistics at one-second precision. We also introduce a heuristic method to automatically process the gathered performance metrics and identify the root causes of performance anomalies with an F-score of 87 - 98%.
• Abstract（参考訳）: 高速な研究ネットワークは、データ集約型分散ワークフローの継続的なニーズを満たすために構築されている。 しかし、これらのネットワークにおけるデータ転送は、I/Oやネットワーク干渉、サーバの設定ミス、ネットワーク異常など、いくつかの理由で、約束される転送速度に達しないことが多い。 パフォーマンス上の問題の根本原因を理解することは、それらの緩和と高価なネットワークインフラストラクチャの利用拡大には不可欠であるが、現時点ではこれらのネットワークにおけるデータ転送を監視するメカニズムがない。 本稿では,ファイル転送における鍵となるパフォーマンス指標を収集,保存し,転送性能に光を当てるためのスケーラブルなエンドツーエンド監視フレームワークを提案する。 評価の結果,提案フレームワークは,1秒の精度で性能統計を収集しながら,最大400件の転送と40,000件以上の転送を監視可能であることがわかった。 また,収集したパフォーマンスメトリクスを自動的に処理し,87～98%のfスコアで性能異常の根本原因を同定するヒューリスティックな手法を提案する。

関連論文リスト

• AI Flow at the Network Edge [58.31090055138711]
  AI Flowは、デバイス、エッジノード、クラウドサーバ間で利用可能な異種リソースを共同で活用することで、推論プロセスを合理化するフレームワークである。 この記事では、AI Flowのモチベーション、課題、原則を特定するためのポジションペーパーとして機能する。
  論文  参考訳（メタデータ） (2024-11-19T12:51:17Z)
• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• NetDiffus: Network Traffic Generation by Diffusion Models through Time-Series Imaging [3.208802773440937]
  我々は,1次元時系列ネットワークトラフィックを2次元画像に変換し,元のデータを表す画像を合成するエンド・ツー・エンド・エンド・フレームワークであるNetDiffusを開発した。 我々は、生成したデータの忠実度を66.4%増加し、下流機械学習タスクを18.1%増加させることにより、GAN(Generative Adversarial Networks)に基づく最先端のトラフィック生成手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-23T18:13:12Z)
• Self-Supervised Transformer Architecture for Change Detection in Radio Access Networks [15.444426578492871]
  通信用Radio Access Networks(RAN)は、数十万の送信デバイス(セル)で構成される相互接続ハードウェアの大規模な集合体を表す。 このようなネットワークは、最適性能のためにシステムパラメータを調整しようとしているネットワークオペレーターによって頻繁に、しばしば異質な変更がなされている。 本稿では,本課題に自己意識と自己蒸留を活用する自己教師型学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-03T23:04:47Z)
• Cross-network transferable neural models for WLAN interference estimation [8.519313977400735]
  本稿では,ロバストネスにおける干渉推定の原理的アプローチを採用する。 まず、実データを使って影響する要因を識別し、関連する一連の合成ワークロードを導出します。 当然のことながら、Graph Conalvolution Networks(GCNs)が全体的なパフォーマンスで最高のものになっている。
  論文  参考訳（メタデータ） (2022-11-25T11:01:43Z)
• Task-Aware Network Coding Over Butterfly Network [3.5366052026723547]
  我々は、分散受信機が機械学習タスクを介して送信されたデータを渡すタスク駆動型ネットワークコーディング問題を分析する。 実座標空間におけるバタフライネットワーク上のタスク認識ネットワークの符号化問題を定式化し、損失のあるアナログ圧縮を適用する。 本稿では,MLアルゴリズムを導入し,タスク認識型ネットワーク符号化の有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-28T03:35:51Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Communication Efficient Federated Learning with Energy Awareness over Wireless Networks [51.645564534597625]
  フェデレートラーニング(FL)では、パラメータサーバとモバイルデバイスが無線リンク上でトレーニングパラメータを共有する。 我々は、勾配の符号のみを交換するSignSGDという考え方を採用する。 2つの最適化問題を定式化し、学習性能を最適化する。 FLでは非常に不均一な方法でモバイルデバイスに分散される可能性があることを考慮し,手話に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-04-15T21:25:13Z)
• Sequential Transfer Machine Learning in Networks: Measuring the Impact of Data and Neural Net Similarity on Transferability [4.626261940793027]
  同様の予測タスクに直面する独立したエンティティのネットワークでは、トランスファー機械学習はニューラルネットの再使用と改善を可能にする。 本研究では、6つの異なるレストランの売り上げデータからなる実世界のユースケースについて実証的研究を行った。 我々は,データのばらつき,データ投影,ニューラルネットの類似性に関する新しい指標に基づいて,転送可能性の潜在的指標を算出する。
  論文  参考訳（メタデータ） (2020-03-29T16:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。