論文の概要: In-Network Preprocessing of Recommender Systems on Multi-Tenant SmartNICs
- arxiv url: http://arxiv.org/abs/2501.12032v1
- Date: Tue, 21 Jan 2025 10:53:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:19:31.134886
- Title: In-Network Preprocessing of Recommender Systems on Multi-Tenant SmartNICs
- Title（参考訳）: マルチテナントスマートニックを用いたレコメンダシステムのインネットワーク前処理
- Authors: Yu Zhu, Wenqi Jiang, Gustavo Alonso,
- Abstract要約: オンラインデータ前処理は、レコメンダシステムを提供する上で、ますます重要な役割を担っている。
既存のソリューションでは、複数のCPUワーカーを使用して、単一のトレーニングノードの入力帯域幅を飽和させる。
データロードと前処理パイプラインをストリーミング形式で実行する,フレキシブルでネットワーク対応のアクセラレータであるPiperを紹介します。
- 参考スコア（独自算出の注目度）: 9.23424733090734
- License:
- Abstract: Keeping ML-based recommender models up-to-date as data drifts and evolves is essential to maintain accuracy. As a result, online data preprocessing plays an increasingly important role in serving recommender systems. Existing solutions employ multiple CPU workers to saturate the input bandwidth of a single training node. Such an approach results in high deployment costs and energy consumption. For instance, a recent report from industrial deployments shows that data storage and ingestion pipelines can account for over 60\% of the power consumption in a recommender system. In this paper, we tackle the issue from a hardware perspective by introducing Piper, a flexible and network-attached accelerator that executes data loading and preprocessing pipelines in a streaming fashion. As part of the design, we define MiniPipe, the smallest pipeline unit enabling multi-pipeline implementation by executing various data preprocessing tasks across the single board, giving Piper the ability to be reconfigured at runtime. Our results, using publicly released commercial pipelines, show that Piper, prototyped on a power-efficient FPGA, achieves a 39$\sim$105$\times$ speedup over a server-grade, 128-core CPU and 3$\sim$17$\times$ speedup over GPUs like RTX 3090 and A100 in multiple pipelines. The experimental analysis demonstrates that Piper provides advantages in both latency and energy efficiency for preprocessing tasks in recommender systems, providing an alternative design point for systems that today are in very high demand.
- Abstract（参考訳）: データドリフトや進化に伴って、MLベースのレコメンデータモデルを最新に保つことが、正確性を維持する上で不可欠である。
結果として、オンラインデータ前処理は、レコメンデーターシステムを提供する上で、ますます重要な役割を担っている。
既存のソリューションでは、複数のCPUワーカーを使用して、単一のトレーニングノードの入力帯域幅を飽和させる。
このようなアプローチは、高いデプロイメントコストとエネルギー消費をもたらす。
例えば、産業展開に関する最近のレポートでは、レコメンデータシステムでは、データストレージと取り込みパイプラインが電力消費量の60%以上を占めることが示されている。
本稿では,ストリーミング方式でデータロードおよび前処理パイプラインを実行する,フレキシブルでネットワーク対応のアクセラレーションであるPiperを導入することにより,ハードウェアの観点からの問題に取り組む。
設計の一環として、単一ボード上でさまざまなデータ前処理タスクを実行することで、マルチパイプライン実装を可能にする最小のパイプラインユニットであるMiniPipeを定義します。
その結果,電力効率のよいFPGAを試作したPiperは,サーバグレードの128コアCPU上での39$\sim$105$\times$スピードアップ,RTX 3090やA100といったGPU上での3$\sim$17$\times$スピードアップを実現した。
実験により、Piperはレコメンデータシステムにおける前処理タスクのレイテンシとエネルギー効率の両面で利点があり、今日の非常に高い要求のシステムに代替的な設計ポイントを提供することを示した。
関連論文リスト
- Efficient Tabular Data Preprocessing of ML Pipelines [9.23424733090734]
データ前処理パイプラインは機械学習(ML)トレーニングの重要なコンポーネントである。
Piperは、データ前処理のためのハードウェアアクセラレータで、FPGA上でプロトタイプし、商用レコメンデータシステムのパイプラインをトレーニングする可能性を実証している。
Piperは128コアのCPUサーバ上でのレイテンシの高速化を4.7$sim$ 71.3$times$達成し、バイナリ入力を使用する場合のデータセンタGPUの4.8$sim$ 20.3$times$を上回っている。
論文 参考訳（メタデータ） (2024-09-23T11:07:57Z) - PreSto: An In-Storage Data Preprocessing System for Training Recommendation Models [3.781822234460176]
PreSto - In-Storage Processing (ISP)を利用したストレージ中心の事前処理システム
PreStoは、CPU中心のベースラインシステムよりも9.6倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2024-06-11T05:26:45Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - PARTIME: Scalable and Parallel Processing Over Time with Deep Neural
Networks [68.96484488899901]
PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。
PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。
オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
論文 参考訳（メタデータ） (2022-10-17T14:49:14Z) - Efficient NLP Inference at the Edge via Elastic Pipelining [0.42970700836450487]
WRXは2つの新しい手法によってレイテンシ/メモリの緊張を緩和する。
We build WRX and evaluation that on a range of NLP tasks, under a practical range of target latencies, on both CPU and GPU。
論文 参考訳（メタデータ） (2022-07-11T17:15:57Z) - Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning
Preprocessing Pipelines [77.45213180689952]
ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。
エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。
チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
論文 参考訳（メタデータ） (2022-02-17T14:31:58Z) - Plumber: Diagnosing and Removing Performance Bottlenecks in Machine
Learning Data Pipelines [7.022239953701528]
機械学習(ML)入力パイプラインのボトルネックを見つけるツールであるPlumberを提案する。
5つの代表的MLパイプラインにまたがって、Plumberはパイプラインの最大46倍のスピードアップを取得する。
キャッシュを自動化することで、Plumberは最先端のチューナーと比較して、エンドツーエンドのスピードアップを40%以上獲得する。
論文 参考訳（メタデータ） (2021-11-07T17:15:57Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳（メタデータ） (2021-10-16T02:41:35Z) - PipeTransformer: Automated Elastic Pipelining for Distributed Training
of Transformers [47.194426122333205]
PipeTransformerはTransformerモデルの分散トレーニングアルゴリズムである。
トレーニング中にいくつかのレイヤを特定し凍結することで、パイプラインとデータの並列性を自動的に調整する。
GLUE と SQuAD データセット上で ImageNet と BERT 上での Vision Transformer (ViT) を用いた Pipe Transformer の評価を行った。
論文 参考訳（メタデータ） (2021-02-05T13:39:31Z) - Rethinking Learning-based Demosaicing, Denoising, and Super-Resolution
Pipeline [86.01209981642005]
本研究では,パイプラインが学習ベースDN,DM,SRの混合問題に与える影響について,逐次解とジョイント解の両方で検討する。
我々の提案するパイプラインDN$to$SR$to$DMは、他のシーケンシャルパイプラインよりも一貫してパフォーマンスが向上する。
混合問題に対する最先端の性能を実現するために, エンドツーエンドのトリニティ・カメラ・エンハンスメント・ネットワーク(TENet)を提案する。
論文 参考訳（メタデータ） (2019-05-07T13:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。