論文の概要: GPUs, CPUs, and... NICs: Rethinking the Network's Role in Serving Complex AI Pipelines

• arxiv url: http://arxiv.org/abs/2502.15712v1
• Date: Wed, 22 Jan 2025 18:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 04:51:58.039905
• Title: GPUs, CPUs, and... NICs: Rethinking the Network's Role in Serving Complex AI Pipelines
• Title（参考訳）: GPU、CPU、... NIC:複雑なAIパイプラインの実現におけるネットワークの役割を再考
• Authors: Mike Wong, Ulysses Butler, Emma Farkash, Praveen Tammana, Anirudh Sivaraman, Ravi Netravali,
• Abstract要約: 本稿では,AIパイプラインの過度なリソースオーバーヘッドに対して,ネットワークがブーンとなる方法について検討する。 本稿では,資源集約型データ処理タスクがパケット処理パイプラインの計算特性にどのように適合しているかを論じる。 ネットワークハードウェアをAIパイプラインに統合し、最適化のための新たな機会を解放するための研究課題を提案する。
• 参考スコア（独自算出の注目度）: 5.615339405149822
• License:
• Abstract: The increasing prominence of AI necessitates the deployment of inference platforms for efficient and effective management of AI pipelines and compute resources. As these pipelines grow in complexity, the demand for distributed serving rises and introduces much-dreaded network delays. In this paper, we investigate how the network can instead be a boon to the excessively high resource overheads of AI pipelines. To alleviate these overheads, we discuss how resource-intensive data processing tasks -- a key facet of growing AI pipeline complexity -- are well-matched for the computational characteristics of packet processing pipelines and how they can be offloaded onto SmartNICs. We explore the challenges and opportunities of offloading, and propose a research agenda for integrating network hardware into AI pipelines, unlocking new opportunities for optimization.
• Abstract（参考訳）: AIの普及は、AIパイプラインと計算リソースの効率的かつ効果的な管理のために、推論プラットフォームをデプロイする必要がある。 これらのパイプラインが複雑さを増すにつれて、分散サービスへの需要が増加し、ネットワーク遅延が増加します。 本稿では,AIパイプラインの過度なリソースオーバーヘッドに対して,ネットワークがブーンとなる方法について検討する。 これらのオーバーヘッドを軽減するために、我々は、AIパイプラインの複雑さを増大させる重要な側面であるリソース集約型データ処理タスクが、パケット処理パイプラインの計算特性と、それをSmartNICにオフロードする方法にどのように適合しているかについて議論した。 我々は、オフロードの課題と機会を探り、ネットワークハードウェアをAIパイプラインに統合し、最適化の新たな機会を解放するための研究アジェンダを提案します。

関連論文リスト

• AI Flow at the Network Edge [58.31090055138711]
  AI Flowは、デバイス、エッジノード、クラウドサーバ間で利用可能な異種リソースを共同で活用することで、推論プロセスを合理化するフレームワークである。 この記事では、AI Flowのモチベーション、課題、原則を特定するためのポジションペーパーとして機能する。
  論文  参考訳（メタデータ） (2024-11-19T12:51:17Z)
• Joint Admission Control and Resource Allocation of Virtual Network Embedding via Hierarchical Deep Reinforcement Learning [69.00997996453842]
  本稿では,仮想ネットワークの埋め込みにおいて,入出力制御と資源配分を併用して学習する深層強化学習手法を提案する。 HRL-ACRAは,受入率と長期平均収益の両面で,最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-25T07:42:30Z)
• OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
  このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T00:22:55Z)
• An End-to-End Network Pruning Pipeline with Sparsity Enforcement [0.0]
  トレーニングのすべての段階において、ニューラルネットワークのプルーニングとスパーシフィケーションに適したエンドツーエンドのトレーニングパイプラインを開発します。 本研究は, 刈り込み工程で使用する異なる技術に加えて, これらの手法の組み合わせを利用した実験を行う。
  論文  参考訳（メタデータ） (2023-12-04T06:11:39Z)
• Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
  本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。 パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
  論文  参考訳（メタデータ） (2022-08-26T16:01:23Z)
• Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs [64.26714148634228]
  渋滞制御 (CC) アルゴリズムの設計は非常に困難になる。 現在、計算能力に制限があるため、ネットワークデバイスにAIモデルをデプロイすることはできない。 我々は,近年の強化学習CCアルゴリズムに基づく計算軽度解を構築した。
  論文  参考訳（メタデータ） (2022-07-05T20:42:24Z)
• Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
  ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。 エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。 チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
  論文  参考訳（メタデータ） (2022-02-17T14:31:58Z)
• Bringing AI pipelines onto cloud-HPC: setting a baseline for accuracy of COVID-19 AI diagnosis [5.313553229474047]
  私たちは、"CLAIRE COVID-19 Universal Pipeline"と呼ばれるパラメトリックパイプラインを定義する重要な要素としてStreamFlow Management Systemを提唱します。 このパイプラインは、新型コロナウイルス(COVID-19)の肺病変をCTスキャンから分類し、それらを精度で比較し、パフォーマンスベースラインを設定する最適化方法を探索することができる。 StreamFlowで設計されたパイプラインのポータビリティ・バイ・デザインのおかげで、従来のHPCインフラストラクチャで見られる膨大な計算能力が必要になります。
  論文  参考訳（メタデータ） (2021-08-02T16:45:00Z)
• Towards AIOps in Edge Computing Environments [60.27785717687999]
  本稿では,異種分散環境に適用可能なaiopsプラットフォームのシステム設計について述べる。 高頻度でメトリクスを収集し、エッジデバイス上で特定の異常検出アルゴリズムを直接実行することが可能である。
  論文  参考訳（メタデータ） (2021-02-12T09:33:00Z)
• Dynamic RAN Slicing for Service-Oriented Vehicular Networks via Constrained Learning [40.5603189901241]
  品質の異なる車両用インターネット(IoV)サービスにおける無線アクセスネットワーク(RAN)スライシング問題について検討する。 無線スペクトルと演算資源を動的に割り当てる動的RANスライシングフレームワークを提案する。 RAWSは,ベンチマークと比較すると,要求を高い確率で満たしながら,システムコストを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2020-12-03T15:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。