論文の概要: Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs

• arxiv url: http://arxiv.org/abs/2207.02295v5
• Date: Sat, 1 Jun 2024 13:45:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 23:55:24.639574
• Title: Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs
• Title（参考訳）: NVIDIA NICにおける強化学習データセンターの混雑制御の実装
• Authors: Benjamin Fuhrer, Yuval Shpigelman, Chen Tessler, Shie Mannor, Gal Chechik, Eitan Zahavi, Gal Dalal,
• Abstract要約: 渋滞制御 (CC) アルゴリズムの設計は非常に困難になる。 現在、計算能力に制限があるため、ネットワークデバイスにAIモデルをデプロイすることはできない。 我々は,近年の強化学習CCアルゴリズムに基づく計算軽度解を構築した。
• 参考スコア（独自算出の注目度）: 64.26714148634228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As communication protocols evolve, datacenter network utilization increases. As a result, congestion is more frequent, causing higher latency and packet loss. Combined with the increasing complexity of workloads, manual design of congestion control (CC) algorithms becomes extremely difficult. This calls for the development of AI approaches to replace the human effort. Unfortunately, it is currently not possible to deploy AI models on network devices due to their limited computational capabilities. Here, we offer a solution to this problem by building a computationally-light solution based on a recent reinforcement learning CC algorithm [arXiv:2207.02295]. We reduce the inference time of RL-CC by x500 by distilling its complex neural network into decision trees. This transformation enables real-time inference within the $\mu$-sec decision-time requirement, with a negligible effect on quality. We deploy the transformed policy on NVIDIA NICs in a live cluster. Compared to popular CC algorithms used in production, RL-CC is the only method that performs well on all benchmarks tested over a large range of number of flows. It balances multiple metrics simultaneously: bandwidth, latency, and packet drops. These results suggest that data-driven methods for CC are feasible, challenging the prior belief that handcrafted heuristics are necessary to achieve optimal performance.
• Abstract（参考訳）: 通信プロトコルが進化するにつれて、データセンターネットワークの利用が増加する。 その結果、混雑が頻発し、遅延とパケット損失が増大する。 ワークロードの複雑さの増大と相まって、渋滞制御(CC)アルゴリズムの手動設計は非常に困難になる。 これにより、人間の努力を置き換えるAIアプローチの開発が求められます。 残念ながら、計算能力が限られているため、現在、ネットワークデバイスにAIモデルをデプロイすることはできない。 本稿では,最近の強化学習CCアルゴリズム [arXiv:2207.02295] に基づく計算軽度解を構築することにより,この問題に対する解決策を提供する。 我々は、複雑なニューラルネットワークを決定木に蒸留することにより、RL-CCのx500による推論時間を短縮する。 この変換は、$\mu$-sec決定時間要件内でのリアルタイム推論を可能にする。 NVIDIA NICのトランスフォーメーションポリシを,ライブクラスタにデプロイします。 実運用で一般的なCCアルゴリズムと比較して、RL-CCは、多数のフローでテストされた全てのベンチマークでうまく機能する唯一の方法である。 帯域幅、レイテンシ、パケットドロップという、複数のメトリクスを同時にバランスさせる。 これらの結果から, CCのデータ駆動方式は実現可能であり, 最適性能を達成するためには手作りヒューリスティックスが必要であるという従来の信念に疑問が持たれている。

関連論文リスト

• Learning RL-Policies for Joint Beamforming Without Exploration: A Batch Constrained Off-Policy Approach [1.0080317855851213]
  本稿では,ネットワークにおけるパラメータキャンセル最適化の問題点について考察する。 探索と学習のために実世界でアルゴリズムをデプロイすることは、探索せずにデータによって達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-12T18:36:36Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)
• CLAN: Continuous Learning using Asynchronous Neuroevolution on Commodity Edge Devices [3.812706195714961]
  我々は、NeuroEvolutionary(NE)学習と推論を実行するWiFiを介して通信するRaspberry Piのプロトタイプシステムを構築した。 本研究では,このような協調システムの性能を評価し,システムの異なる配置の計算/通信特性について詳述する。
  論文  参考訳（メタデータ） (2020-08-27T01:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。