論文の概要: MP-Rec: Hardware-Software Co-Design to Enable Multi-Path Recommendation
- arxiv url: http://arxiv.org/abs/2302.10872v1
- Date: Tue, 21 Feb 2023 18:38:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 13:59:02.623965
- Title: MP-Rec: Hardware-Software Co-Design to Enable Multi-Path Recommendation
- Title（参考訳）: mp-rec:マルチパス推薦を可能にするハードウェアソフトウェア共同設計
- Authors: Samuel Hsia, Udit Gupta, Bilge Acun, Newsha Ardalani, Pan Zhong,
Gu-Yeon Wei, David Brooks, Carole-Jean Wu
- Abstract要約: 最先端のレコメンデーションモデルは、テラバイト規模の埋め込みテーブルを使ってユーザの好みを学習する。
組込み表現とハードウェアプラットフォームとの相乗効果が,アルゴリズムおよびシステム性能の改善につながることを示す。
- 参考スコア（独自算出の注目度）: 8.070008246742681
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning recommendation systems serve personalized content under diverse
tail-latency targets and input-query loads. In order to do so, state-of-the-art
recommendation models rely on terabyte-scale embedding tables to learn user
preferences over large bodies of contents. The reliance on a fixed embedding
representation of embedding tables not only imposes significant memory capacity
and bandwidth requirements but also limits the scope of compatible system
solutions. This paper challenges the assumption of fixed embedding
representations by showing how synergies between embedding representations and
hardware platforms can lead to improvements in both algorithmic- and system
performance. Based on our characterization of various embedding
representations, we propose a hybrid embedding representation that achieves
higher quality embeddings at the cost of increased memory and compute
requirements. To address the system performance challenges of the hybrid
representation, we propose MP-Rec -- a co-design technique that exploits
heterogeneity and dynamic selection of embedding representations and underlying
hardware platforms.
On real system hardware, we demonstrate how matching custom accelerators,
i.e., GPUs, TPUs, and IPUs, with compatible embedding representations can lead
to 16.65x performance speedup. Additionally, in query-serving scenarios, MP-Rec
achieves 2.49x and 3.76x higher correct prediction throughput and 0.19% and
0.22% better model quality on a CPU-GPU system for the Kaggle and Terabyte
datasets, respectively.
- Abstract（参考訳）: ディープラーニングレコメンデーションシステムは、多様なテールレイテンシーターゲットと入力クエリー負荷の下でパーソナライズされたコンテンツを提供する。
そのため、最先端のレコメンデーションモデルはテラバイト規模の埋め込みテーブルを使用して、大量のコンテンツに対するユーザの好みを学習する。
埋め込みテーブルの固定的な埋め込み表現への依存は、メモリ容量と帯域幅の大幅な要件を課すだけでなく、互換性のあるシステムソリューションの範囲も制限する。
本稿では,組込み表現とハードウェアプラットフォームとの相乗効果がアルゴリズム性能とシステム性能の両方の改善につながることを示すことにより,固定組込み表現の仮定に挑戦する。
様々な組込み表現の特徴に基づいて,メモリと計算要求の増加を犠牲にして,高品質な組込みを実現するハイブリッド組込み表現を提案する。
ハイブリッド表現のシステム性能問題に対処するため,組込み表現と基盤となるハードウェアプラットフォームの不均一性と動的選択を利用した共同設計手法MP-Recを提案する。
実システムハードウェア上では、GPU、TPU、IPUといったカスタムアクセラレータと互換性のある埋め込み表現とのマッチングが16.65倍の性能向上につながることを示す。
さらに、クエリ処理のシナリオでは、MP-Recは、KaggleデータセットとTerabyteデータセット用のCPU-GPUシステムにおいて、それぞれ2.49倍、3.76倍の正確な予測スループットと0.19%、0.22%のモデル品質を達成する。
関連論文リスト
- AsCAN: Asymmetric Convolution-Attention Networks for Efficient Recognition and Generation [48.82264764771652]
本稿では,畳み込みブロックと変圧器ブロックを組み合わせたハイブリッドアーキテクチャAsCANを紹介する。
AsCANは、認識、セグメンテーション、クラス条件画像生成など、さまざまなタスクをサポートしている。
次に、同じアーキテクチャをスケールして、大規模なテキスト・イメージタスクを解決し、最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-11-07T18:43:17Z) - Compound Text-Guided Prompt Tuning via Image-Adaptive Cues [42.248853198953945]
複合テキストガイド型プロンプトチューニング(TGP-T)を提案する。
優れた性能を保ちながら、リソース需要を大幅に削減する。
これはGPUメモリ使用量を93%削減し、16ショットのImageNetで2.5%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2023-12-11T14:17:02Z) - Joint Modeling of Feature, Correspondence, and a Compressed Memory for
Video Object Segmentation [52.11279360934703]
現在のビデオオブジェクト(VOS)メソッドは通常、特徴抽出後のカレントフレームと参照フレームの密マッチングを実行する。
本稿では,特徴量,対応性,圧縮メモリの3要素を共同モデリングするための統合VOSフレームワークであるJointFormerを提案する。
論文 参考訳（メタデータ） (2023-08-25T17:30:08Z) - Unified Embedding: Battle-Tested Feature Representations for Web-Scale
ML Systems [29.53535556926066]
高品質な機能埋め込みを効率よく効果的に学習することは、Webスケールの機械学習システムの性能にとって重要である。
この作業では、シンプルだが効果的に機能するフレームワークであるFeature Multiplexingを導入し、1つの表現空間を多くの異なる分類的特徴にまたがって使用する。
機能構成の簡略化,動的データ分散への適応性の向上,最新のハードウェアとの互換性の3つの大きなメリットを生かした,Unified Embeddingと呼ばれる高度に実践的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-05-20T05:35:40Z) - Binarized Spectral Compressive Imaging [59.18636040850608]
ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。
本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。
BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
論文 参考訳（メタデータ） (2023-05-17T15:36:08Z) - Mem-Rec: Memory Efficient Recommendation System using Alternative
Representation [6.542635536704625]
MEM-RECは、テーブルを埋め込むための新しい代替表現手法である。
MEM-RECはレコメンデーション品質を維持するだけでなく、埋め込み遅延を改善することができる。
論文 参考訳（メタデータ） (2023-05-12T02:36:07Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - A GPU-specialized Inference Parameter Server for Large-Scale Deep
Recommendation Models [6.823233135936128]
推薦システムは、ニュースフィード、ソーシャルネットワーク、eコマース、検索など、様々なモダンなアプリやWebサービスにとって不可欠である。
ピーク予測精度を達成するため、現代のレコメンデーションモデルは、ディープラーニングとテラバイト規模の埋め込みテーブルを組み合わせることで、基礎となるデータのきめ細かい表現を得る。
従来の推論サービスアーキテクチャでは、モデル全体をスタンドアロンのサーバにデプロイする必要があります。
論文 参考訳（メタデータ） (2022-10-17T07:36:18Z) - RecPipe: Co-designing Models and Hardware to Jointly Optimize
Recommendation Quality and Performance [6.489720534548981]
RecPipeは、推奨品質と推論性能を共同で最適化するシステムである。
RPAccelは、品質、テールレイテンシ、システムスループットを共同で最適化するカスタムアクセラレータである。
論文 参考訳（メタデータ） (2021-05-18T20:44:04Z) - Compatibility-aware Heterogeneous Visual Search [93.90831195353333]
既存のシステムは、同じ埋め込みモデルを使用して、クエリとギャラリーイメージの表現(埋め込み)を計算します。
1つは埋め込みを計算する各モデルのパラメータを変更し、もう1つは埋め込みを計算するアーキテクチャを変更して実行します。
最大埋め込みモデル(パラゴン)を用いた通常の(均一な)ビジュアルサーチと比較して,CMP-NASは80倍,23倍のコスト削減を実現している。
論文 参考訳（メタデータ） (2021-05-13T02:30:50Z) - ResNeSt: Split-Attention Networks [86.25490825631763]
このアーキテクチャは、異なるネットワークブランチにチャンネルワイズを応用し、機能間相互作用のキャプチャと多様な表現の学習の成功を活用する。
我々のモデルはResNeStと呼ばれ、画像分類の精度と遅延トレードオフにおいてEfficientNetより優れています。
論文 参考訳（メタデータ） (2020-04-19T20:40:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。