論文の概要: Inference-to-complete: A High-performance and Programmable Data-plane Co-processor for Neural-network-driven Traffic Analysis

• arxiv url: http://arxiv.org/abs/2411.00408v1
• Date: Fri, 01 Nov 2024 07:10:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:26:51.866367
• Title: Inference-to-complete: A High-performance and Programmable Data-plane Co-processor for Neural-network-driven Traffic Analysis
• Title（参考訳）: 推論から完全:ニューラルネットワーク駆動型トラフィック解析のための高性能でプログラム可能なデータプレーンコプロセッサ
• Authors: Dong Wen, Zhongpei Liu, Tong Yang, Tao Li, Tianyun Li, Chenglong Li, Jie Li, Zhigang Sun,
• Abstract要約: NN駆動型インテリジェントデータプレーン(NN駆動型IDP)は,精度と高性能のために,新たな話題になりつつある。 Kaleidoscopeは、データプレーンのバイパスに位置するフレキシブルで高性能なコプロセッサである。 Kaleidoscopeは256-352 nsの推論遅延と100Gbpsのスループットに到達し、データプレーンへの影響は無視できる。
• 参考スコア（独自算出の注目度）: 18.75879653408466
• License:
• Abstract: Neural-networks-driven intelligent data-plane (NN-driven IDP) is becoming an emerging topic for excellent accuracy and high performance. Meanwhile we argue that NN-driven IDP should satisfy three design goals: the flexibility to support various NNs models, the low-latency-high-throughput inference performance, and the data-plane-unawareness harming no performance and functionality. Unfortunately, existing work either over-modify NNs for IDP, or insert inline pipelined accelerators into the data-plane, failing to meet the flexibility and unawareness goals. In this paper, we propose Kaleidoscope, a flexible and high-performance co-processor located at the bypass of the data-plane. To address the challenge of meeting three design goals, three key techniques are presented. The programmable run-to-completion accelerators are developed for flexible inference. To further improve performance, we design a scalable inference engine which completes low-latency and low-cost inference for the mouse flows, and perform complex NNs with high-accuracy for the elephant flows. Finally, raw-bytes-based NNs are introduced, which help to achieve unawareness. We prototype Kaleidoscope on both FPGA and ASIC library. In evaluation on six NNs models, Kaleidoscope reaches 256-352 ns inference latency and 100 Gbps throughput with negligible influence on the data-plane. The on-board tested NNs perform state-of-the-art accuracy among other NN-driven IDP, exhibiting the the significant impact of flexibility on enhancing traffic analysis accuracy.
• Abstract（参考訳）: ニューラルネットワーク駆動のインテリジェントデータプレーン(NN駆動IDP)は,精度と高性能の面で新たな話題になりつつある。 一方、NN駆動型IDPは、様々なNNモデルをサポートする柔軟性、低遅延高スループットの推論性能、性能や機能に悪影響を及ぼさないデータプレーン非認識の3つの設計目標を満たすべきであると論じる。 残念ながら、既存の作業はIDP用のNNを過度に修正するか、あるいはインラインパイプラインされたアクセラレータをデータプレーンに挿入する。 本稿では,データプレーンのバイパス部に位置するフレキシブルで高性能なコプロセッサKaleidoscopeを提案する。 3つの設計目標を達成するという課題に対処するため、3つの重要なテクニックが提示される。 プログラム可能なRun-to-Completionアクセラレータは、柔軟な推論のために開発されている。 さらに,マウスのフローに対する低レイテンシかつ低コストの推論を完了し,象のフローに対する高精度な複雑なNNを行うスケーラブルな推論エンジンを設計する。 最後に、生バイトベースのNNが導入された。 我々はFPGAとASICライブラリの両方でKaleidoscopeを試作した。 6つのNNモデルの評価において、Kaleidoscopeは256-352 nsの推論遅延と100Gbpsのスループットに到達し、データプレーンへの影響は無視できる。 実機で試験したNNは、他のNN駆動IDPの中で最先端の精度で動作し、交通分析精度の向上に対する柔軟性の重大な影響を示す。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Differentiable Weightless Neural Networks [1.453874055504475]
  本稿では,相互接続型ルックアップテーブルに基づくモデルであるDWNを提案する。 本稿では,これらのモデルの精度と効率をさらに向上させるために,学習可能なマッピング,学習可能なリダクション,スペクトル正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-14T21:43:48Z)
• DCP: Learning Accelerator Dataflow for Neural Network via Propagation [52.06154296196845]
  この研究は、DNN層の最適なデータフローを人間の努力なしに数秒で自動的に見つけるために、Dataflow Code Propagation (DCP)と呼ばれる効率的なデータ中心のアプローチを提案する。 DCPは、様々な最適化目標を最小化するために、望ましい勾配方向に向けてデータフローコードを効率的に更新する神経予測器を学習する。 例えば、追加のトレーニングデータを使用しないDCPは、数千のサンプルを使用して完全な検索を行うGAMAメソッドを超越している。
  論文  参考訳（メタデータ） (2024-10-09T05:16:44Z)
• Brain-on-Switch: Towards Advanced Intelligent Network Data Plane via NN-Driven Traffic Analysis at Line-Speed [33.455302442142994]
  プログラム可能なネットワークは、ラインスピードで学習に基づくトラフィック分析を実現するIntelligent Network Data Plane (INDP) に大きな研究を巻き起こした。 INDPの以前の技術は、データプレーンにツリー/フォレストモデルをデプロイすることに焦点を当てていた。 本稿では,ニューラルネットワーク(NN)によるトラフィック解析を回線速度で実現することにより,INDPの境界を押し上げるBoSを提案する。
  論文  参考訳（メタデータ） (2024-03-17T04:59:30Z)
• Fine-Tuning Surrogate Gradient Learning for Optimal Hardware Performance in Spiking Neural Networks [1.52292571922932]
  スパイキングニューラルネットワーク(SNN)は、ハードウェアで慎重に活用することで、膨大なエネルギー効率の恩恵をもたらすことができる。 この研究は、トレーニングがハードウェアのパフォーマンスに与える影響に関する新たな洞察を明らかにします。
  論文  参考訳（メタデータ） (2024-02-09T06:38:12Z)
• Automotive Object Detection via Learning Sparse Events by Spiking Neurons [20.930277906912394]
  スパイキングニューラルネットワーク(SNN)は、本質的にイベントベースのデータと整合した時間的表現を提供する。 自動車のイベントベース物体検出に最適化された特化スパイキング特徴ピラミッドネットワーク(SpikeFPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-24T15:47:21Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on Edge Devices [19.335535517714703]
  エッジへの展開後のディープニューラルネットワーク(DNN)の予測精度は、新しいデータの分布の変化によって、時間とともに低下する可能性がある。 バッチ正規化パラメータを再調整することにより、ノイズデータに対するモデルの予測精度を向上させるため、近年の予測時間非教師なしDNN適応技術が導入されている。 本論文は, 各種エッジデバイスの性能とエネルギーを定量化するために, この種の技術に関する総合的な研究を初めて行ったものである。
  論文  参考訳（メタデータ） (2022-03-21T19:10:40Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。