論文の概要: Cora: Accelerating Stateful Network Applications with SmartNICs

• arxiv url: http://arxiv.org/abs/2410.22229v1
• Date: Tue, 29 Oct 2024 16:55:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:40:01.757552
• Title: Cora: Accelerating Stateful Network Applications with SmartNICs
• Title（参考訳）: Cora: スマートNICによるステートフルネットワークアプリケーションの高速化
• Authors: Shaoke Xi, Jiaqi Gao, Mengqi Liu, Jiamin Cao, Fuliang Li, Kai Bu, Kui Ren, Minlan Yu, Dennis Cai, Ennan Zhai,
• Abstract要約: Coraは、ステートフルなネットワークアプリケーションをSmartNICアクセラレーションホストにオフロードする、コンパイラとランタイムである。 CoraはNetronome AgilioとBlueField 2 SmartNICs上に構築されている。
• 参考スコア（独自算出の注目度）: 16.049721517574685
• License:
• Abstract: With the growing performance requirements on networked applications, there is a new trend of offloading stateful network applications to SmartNICs to improve performance and reduce the total cost of ownership. However, offloading stateful network applications is non-trivial due to state operation complexity, state resource consumption, and the complicated relationship between traffic and state. Naively partitioning the program by state or traffic can result in a suboptimal partition plan with higher CPU usage or even packet drops. In this paper, we propose Cora, a compiler and runtime that offloads stateful network applications to SmartNIC-accelerated hosts. Cora compiler introduces an accurate performance model for each SmartNIC and employs an efficient compiling algorithm to search the offloading plan. Cora runtime can monitor traffic dynamics and adapt to minimize CPU usage. Cora is built atop Netronome Agilio and BlueField 2 SmartNICs. Our evaluation shows that for the same throughput target, Cora can propose partition plans saving up to 94.0% CPU cores, 1.9 times more than baseline solutions. Under the same resource constraint, Cora can accelerate network functions by 44.9%-82.3%. Cora runtime can adapt to traffic changes and keep CPU usage low.
• Abstract（参考訳）: ネットワーク化されたアプリケーションのパフォーマンス要件の増加に伴い、ステートフルなネットワークアプリケーションをSmartNICsにオフロードして、パフォーマンスを改善し、オーナシップの総コストを削減するという、新たなトレンドが生まれている。 しかし、ステートフルネットワークアプリケーションのオフロードは、状態操作の複雑さ、状態リソースの消費、トラフィックと状態の間の複雑な関係のため、簡単ではない。 プログラムを状態やトラフィックでネイティブにパーティショニングすると、CPU使用率の高い最適なパーティショニングプランや、パケットのドロップが発生します。 本稿では,ステートフルネットワークアプリケーションをSmartNICアクセラレーションホストにオフロードするコンパイラとランタイムのColaを提案する。 CoraコンパイラはSmartNIC毎に正確なパフォーマンスモデルを導入し、効率的なコンパイルアルゴリズムを使用してオフロード計画の検索を行う。 Coraランタイムはトラフィックのダイナミクスを監視し、CPU使用量を最小限にするために適応することができる。 CoraはNetronome AgilioとBlueField 2 SmartNICs上に構築されている。 評価の結果,同じスループットを目標とする場合,Coraは最大94.0%のCPUコアを削減可能なパーティションプランを提案し,ベースラインソリューションの1.9倍のスループットを実現した。 同じリソース制約の下で、Coraはネットワーク機能を44.9%-82.3%高速化することができる。 Coraランタイムはトラフィックの変更に適応し、CPU使用率を低くすることができる。

関連論文リスト

• Coverage-aware and Reinforcement Learning Using Multi-agent Approach for HD Map QoS in a Realistic Environment [8.853779271331508]
  オフロードプロセスを最適化する効果的な方法の1つは、送信時間を最小化することである。 これはVehicular Adhoc Network(VANET)において特に当てはまり、車両はHD(High-Definition)マップデータを頻繁にダウンロードしてアップロードする。
  論文  参考訳（メタデータ） (2024-07-19T12:40:07Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Design of Many-Core Big Little \mu Brain for Energy-Efficient Embedded Neuromorphic Computing [0.9349784561232036]
  深層畳み込みニューラルネットワーク(SDCNN)の計算を高速化するために,$muBrainベースのスケーラブル多コアニューロモルフィックハードウェアを提案する。 提案手法はエネルギー(37%から98%)を削減し、レイテンシ(9%から25%)を低減し、アプリケーションスループット(20%から36%)を向上することを示した。
  論文  参考訳（メタデータ） (2021-11-23T13:04:45Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Running Neural Networks on the NIC [7.645750193878735]
  我々は、コモディティプログラマブルNICが低オーバーヘッドでニューラルネットワーク推論タスクを実行できることを示す。 N3ICは処理のレイテンシを100倍にし、スループットは1.5倍向上する。
  論文  参考訳（メタデータ） (2020-09-04T18:35:58Z)
• Dataflow Aware Mapping of Convolutional Neural Networks Onto Many-Core Platforms With Network-on-Chip Interconnect [0.0764671395172401]
  マシンインテリジェンス、特に畳み込みニューラルネットワーク(CNN)は、ここ数年で大きな研究領域となっている。 複数の同質なコアで構成される多コアプラットフォームは、データフローマッピングの労力の増大を犠牲にして、物理実装に関する制限を緩和することができる。 この作業は、最小限のランタイムと最小限のオフチップメモリアクセスに対して、最適化目標の異なるシングルコアレベルから始まる自動マッピング戦略を示す。 この戦略は、適切なマルチコアマッピング方式に拡張され、ネットワークオンチップ相互接続によるスケーラブルなシステムレベルシミュレーションを用いて評価される。
  論文  参考訳（メタデータ） (2020-06-18T17:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。