論文の概要: ServeFlow: A Fast-Slow Model Architecture for Network Traffic Analysis
- arxiv url: http://arxiv.org/abs/2402.03694v2
- Date: Thu, 24 Oct 2024 14:15:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-25 12:49:08.937271
- Title: ServeFlow: A Fast-Slow Model Architecture for Network Traffic Analysis
- Title（参考訳）: ServeFlow: ネットワークトラフィック分析のための高速スローモデルアーキテクチャ
- Authors: Shinan Liu, Ted Shaowang, Gerry Wan, Jeewon Chae, Jonatas Marques, Sanjay Krishnan, Nick Feamster,
- Abstract要約: ServeFlowは、ネットワークトラフィック分析タスクを対象とした機械学習モデルのソリューションである。
収集するパケットの数と、個々のフローに適用するモデルを選択して、最小のレイテンシ、高いサービスレート、高い精度のバランスを実現する。
16ms以下では76.3%のフローで推論が可能で、これは中央のエンドツーエンドのサービスレイテンシでは40.5倍のスピードアップである。
- 参考スコア（独自算出の注目度）: 9.537658110792208
- License:
- Abstract: Network traffic analysis increasingly uses complex machine learning models as the internet consolidates and traffic gets more encrypted. However, over high-bandwidth networks, flows can easily arrive faster than model inference rates. The temporal nature of network flows limits simple scale-out approaches leveraged in other high-traffic machine learning applications. Accordingly, this paper presents ServeFlow, a solution for machine-learning model serving aimed at network traffic analysis tasks, which carefully selects the number of packets to collect and the models to apply for individual flows to achieve a balance between minimal latency, high service rate, and high accuracy. We identify that on the same task, inference time across models can differ by 1.8x - 141.3x, while the inter-packet waiting time is up to 6-8 orders of magnitude higher than the inference time! Based on these insights, we tailor a novel fast-slow model architecture for networking ML pipelines. Flows are assigned to a slower model only when the inferences from the fast model are deemed high uncertainty. ServeFlow is able to make inferences on 76.3% of flows in under 16ms, which is a speed-up of 40.5x on the median end-to-end serving latency while increasing the service rate and maintaining similar accuracy. Even with thousands of features per flow, it achieves a service rate of over 48.5k new flows per second on a 16-core CPU commodity server, which matches the order of magnitude of flow rates observed on city-level network backbones.
- Abstract（参考訳）: インターネットが統合され、トラフィックが暗号化されるにつれて、ネットワークトラフィック分析はますます複雑な機械学習モデルを使用するようになっている。
しかし、高帯域幅ネットワークでは、フローがモデル推論速度よりも早く到達できる。
ネットワークフローの時間的性質は、他の高速機械学習アプリケーションで利用される単純なスケールアウトアプローチを制限する。
そこで本稿では,ネットワークトラフィック分析タスクを対象とした機械学習モデルのServeFlowを提案する。これは,収集するパケットの数と,個々のフローに適用するモデルを選択して,最小レイテンシ,高サービスレート,高精度のバランスを実現する。
同じタスクで、モデル間の推論時間は1.8x - 141.3xで、一方、パケット間の待ち時間は、推論時間よりも最大6-8桁高い。
これらの知見に基づいて、我々は、ネットワークMLパイプラインのための新しい高速スローモデルアーキテクチャをカスタマイズする。
フローは、高速モデルからの推論が高い不確実性と見なされる場合にのみ、遅いモデルに割り当てられる。
ServeFlowは16ms未満のフローの76.3%で推論が可能で、これはサービスレートを向上し、同様の精度を維持しながら、中央値のエンドツーエンドサービスレイテンシの40.5倍のスピードアップである。
1フローあたり数千のフィーチャがあるにもかかわらず、16コアのCPUコモディティサーバで毎秒48.5k以上の新しいフローを処理し、これは都市レベルのネットワークバックボーンで観測されるフローの桁数と一致する。
関連論文リスト
- FlowTurbo: Towards Real-time Flow-Based Image Generation with Velocity Refiner [70.90505084288057]
フローベースモデルはサンプリングプロセス中により直線的なサンプリング軌道を生成する傾向にある。
擬似修正器やサンプル認識コンパイルなどいくつかの手法を導入し,推論時間をさらに短縮する。
FlowTurboはImageNet上で100(ms/img)で2.12FID、38(ms/img)で3.93FIDに達する
論文 参考訳（メタデータ） (2024-09-26T17:59:51Z) - Lightweight Event-based Optical Flow Estimation via Iterative Deblurring [22.949700247611695]
相関ボリュームを使わずにイベントトレースからのフローを直接推定する,軽量かつ高性能なイベントベース光フローネットワークIDNetを導入する。
当社のトップパフォーマンスIDモデルは、DSECベンチマークで新たな最先端技術を設定しています。
NVidia Jetson Xavier NXでは,パラメータを80%削減し,メモリフットプリントを20倍削減し,40%高速動作を実現しています。
論文 参考訳（メタデータ） (2022-11-24T17:26:27Z) - Teal: Learning-Accelerated Optimization of WAN Traffic Engineering [68.7863363109948]
本稿では,GPUの並列処理能力を活用してTE制御を高速化する学習型TEアルゴリズムTealを提案する。
問題スケールの削減と学習のトラクタビリティ向上のために,Tealはマルチエージェント強化学習(RL)アルゴリズムを用いて,各トラフィック要求を独立に割り当てる。
他のTE加速方式と比較して、Tealは需要を6～32%増やし、197～625倍のスピードアップを達成している。
論文 参考訳（メタデータ） (2022-10-25T04:46:30Z) - Correlating sparse sensing for large-scale traffic speed estimation: A
Laplacian-enhanced low-rank tensor kriging approach [76.45949280328838]
本稿では,Laplacian enhanced Low-rank tensor (LETC) フレームワークを提案する。
次に,提案したモデルをネットワークワイド・クリグにスケールアップするために,複数の有効な数値手法を用いて効率的な解アルゴリズムを設計する。
論文 参考訳（メタデータ） (2022-10-21T07:25:57Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳（メタデータ） (2021-10-16T02:41:35Z) - Traffic Flow Forecasting with Maintenance Downtime via Multi-Channel
Attention-Based Spatio-Temporal Graph Convolutional Networks [4.318655493189584]
建設工事の影響下での交通速度予測モデルを提案する。
このモデルは、強力なアテンションベースの時間グラフ畳み込みアーキテクチャに基づいているが、様々なチャネルを利用して異なる情報ソースを統合する。
このモデルは、2つのベンチマークデータセットと、北バージニアの散らかった道路の角で収集した新しいデータセットで評価されている。
論文 参考訳（メタデータ） (2021-10-04T16:07:37Z) - TrafficStream: A Streaming Traffic Flow Forecasting Framework Based on
Graph Neural Networks and Continual Learning [10.205873494981633]
グラフニューラルネットワーク(GNN)と連続学習(CL)に基づくストリームトラフィックフロー予測フレームワークであるTrafficStreamを提案する。
新たなトラフィックパターンをマイニングするために,JS-divergence に基づくアルゴリズムを提案する。
モデルの有効性と有効性を検証するために,ストリーミングトラフィックデータセットを構築した。
論文 参考訳（メタデータ） (2021-06-11T09:42:37Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - FDFlowNet: Fast Optical Flow Estimation using a Deep Lightweight Network [12.249680550252327]
我々はFDFlowNet(fast Deep Flownet)と呼ばれるリアルタイム光フロー推定のための軽量で効果的なモデルを提案する。
我々は、PWC-Netの約2倍の速度で、挑戦的なKITTIとSintelベンチマークにおいて、より良い、あるいは同様の精度を達成する。
論文 参考訳（メタデータ） (2020-06-22T14:01:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。