論文の概要: Deep Recommender Models Inference: Automatic Asymmetric Data Flow Optimization

• arxiv url: http://arxiv.org/abs/2507.01676v1
• Date: Wed, 02 Jul 2025 13:00:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.240894
• Title: Deep Recommender Models Inference: Automatic Asymmetric Data Flow Optimization
• Title（参考訳）: ディープレコメンダモデル推論:自動非対称データフロー最適化
• Authors: Giuseppe Ruggeri, Renzo Andri, Daniele Jahier Pagliari, Lukas Cavigelli,
• Abstract要約: DLRM(Deep Recommender Models)推論は、MetaのデータセンタにおけるAIワークロード全体の79%以上を占めている。 本稿では,埋め込みルックアップの高速化を目的としたデータフローの設計を提案する。
• 参考スコア（独自算出の注目度）: 4.08734863805696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Recommender Models (DLRMs) inference is a fundamental AI workload accounting for more than 79% of the total AI workload in Meta's data centers. DLRMs' performance bottleneck is found in the embedding layers, which perform many random memory accesses to retrieve small embedding vectors from tables of various sizes. We propose the design of tailored data flows to speedup embedding look-ups. Namely, we propose four strategies to look up an embedding table effectively on one core, and a framework to automatically map the tables asymmetrically to the multiple cores of a SoC. We assess the effectiveness of our method using the Huawei Ascend AI accelerators, comparing it with the default Ascend compiler, and we perform high-level comparisons with Nvidia A100. Results show a speed-up varying from 1.5x up to 6.5x for real workload distributions, and more than 20x for extremely unbalanced distributions. Furthermore, the method proves to be much more independent of the query distribution than the baseline.
• Abstract（参考訳）: DLRM(Deep Recommender Models)推論は、MetaのデータセンターにおけるAIワークロード全体の79%以上を占める、基本的なAIワークロードである。 DLRMsのパフォーマンスボトルネックは埋め込み層に見られ、様々なサイズのテーブルから小さな埋め込みベクトルを検索するために多くのランダムメモリアクセスを実行する。 本稿では,埋め込みルックアップの高速化を目的としたデータフローの設計を提案する。 すなわち,1つのコアに埋め込まれたテーブルを効果的に検索する4つの戦略と,SoCの複数のコアに非対称にテーブルを自動的にマッピングするフレームワークを提案する。 我々はHuawei Ascend AIアクセラレーターを用いた手法の有効性を評価し、デフォルトのAscendコンパイラと比較し、Nvidia A100と比較した。 その結果、実際のワークロード分布では1.5倍から6.5倍、極めて不均衡な分布では20倍以上のスピードアップが見られた。 さらに,本手法は,ベースラインよりもクエリ分布に依存しないことが証明された。

関連論文リスト

• DQRM: Deep Quantized Recommendation Models [34.73674946187648]
  大規模なレコメンデーションモデルは、多くの大手インターネット企業にとって主要な作業負荷である。 これらの1TB以上のテーブルのサイズは、レコメンデーションモデルのトレーニングと推論に深刻なメモリボトルネックを課す。 我々は、最先端のディープラーニング勧告モデル(DLRM)に基づいて、小規模で強力で、実行および訓練に効率の良い新しい推薦フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-26T02:33:52Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• Dynamic Encoder Size Based on Data-Driven Layer-wise Pruning for Speech Recognition [24.71497121634708]
  可変サイズモデルは、異なるハードウェアおよび/またはアプリケーション制約下でASRシステムをデプロイするためにしばしば必要とされる。 動的エンコーダ・サイズ・アプローチを提案する。この手法は1つのスーパーネット内の複数のパフォーマンスモデルをスクラッチからトレーニングする。
  論文  参考訳（メタデータ） (2024-07-10T08:35:21Z)
• Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads [65.47816359465155]
  複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。 スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。 提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-17T09:25:17Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Mem-Rec: Memory Efficient Recommendation System using Alternative Representation [6.542635536704625]
  MEM-RECは、テーブルを埋め込むための新しい代替表現手法である。 MEM-RECはレコメンデーション品質を維持するだけでなく、埋め込み遅延を改善することができる。
  論文  参考訳（メタデータ） (2023-05-12T02:36:07Z)
• BagPipe: Accelerating Deep Recommendation Model Training [9.911467752221863]
  Bagpipeは、キャッシュとプレフェッチを使用して、リモート埋め込みアクセスと計算を重複させるディープレコメンデーションモデルをトレーニングするシステムである。 私たちは、ルックアヘッドアルゴリズムを使用して最適なキャッシュ更新決定を生成する新しいコンポーネントであるOracle Cacherを設計します。
  論文  参考訳（メタデータ） (2022-02-24T23:54:12Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。