論文の概要: Mem-Rec: Memory Efficient Recommendation System using Alternative
Representation
- arxiv url: http://arxiv.org/abs/2305.07205v2
- Date: Mon, 15 May 2023 01:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 11:07:48.605681
- Title: Mem-Rec: Memory Efficient Recommendation System using Alternative
Representation
- Title(参考訳): Mem-Rec:代替表現を用いたメモリ効率の良いレコメンデーションシステム
- Authors: Gopi Krishna Jha, Anthony Thomas, Nilesh Jain, Sameh Gobriel, Tajana
Rosing, Ravi Iyer
- Abstract要約: MEM-RECは、テーブルを埋め込むための新しい代替表現手法である。
MEM-RECはレコメンデーション品質を維持するだけでなく、埋め込み遅延を改善することができる。
- 参考スコア(独自算出の注目度): 6.542635536704625
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning-based recommendation systems (e.g., DLRMs) are widely used AI
models to provide high-quality personalized recommendations. Training data used
for modern recommendation systems commonly includes categorical features taking
on tens-of-millions of possible distinct values. These categorical tokens are
typically assigned learned vector representations, that are stored in large
embedding tables, on the order of 100s of GB. Storing and accessing these
tables represent a substantial burden in commercial deployments. Our work
proposes MEM-REC, a novel alternative representation approach for embedding
tables. MEM-REC leverages bloom filters and hashing methods to encode
categorical features using two cache-friendly embedding tables. The first table
(token embedding) contains raw embeddings (i.e. learned vector representation),
and the second table (weight embedding), which is much smaller, contains
weights to scale these raw embeddings to provide better discriminative
capability to each data point. We provide a detailed architecture, design and
analysis of MEM-REC addressing trade-offs in accuracy and computation
requirements, in comparison with state-of-the-art techniques. We show that
MEM-REC can not only maintain the recommendation quality and significantly
reduce the memory footprint for commercial scale recommendation models but can
also improve the embedding latency. In particular, based on our results,
MEM-REC compresses the MLPerf CriteoTB benchmark DLRM model size by 2900x and
performs up to 3.4x faster embeddings while achieving the same AUC as that of
the full uncompressed model.
- Abstract(参考訳): ディープラーニングベースのレコメンデーションシステム(DLRMなど)は、高品質なパーソナライズされたレコメンデーションを提供するために広く使われているAIモデルである。
現代のレコメンデーションシステムで使用されるトレーニングデータには、考えられる数万の異なる値を扱う分類的特徴が含まれている。
これらの分類トークンは通常、100GBの順序で大きな埋め込みテーブルに格納される学習されたベクトル表現に割り当てられる。
これらのテーブルの保存とアクセスは、商業展開においてかなりの負担となる。
本稿では,テーブルを埋め込む新しい代替表現手法であるMEM-RECを提案する。
MEM-RECは2つのキャッシュフレンドリーな埋め込みテーブルを使用して分類機能をエンコードするために、ブルームフィルタとハッシュ法を利用する。
第1のテーブル(トーケン埋め込み)は生の埋め込み(すなわち学習ベクトル表現)を含み、第2のテーブル(重み込み)は、より小さく、これらの生の埋め込みをスケールして各データポイントにより良い識別能力を与える重みを含む。
我々は,MEM-RECの最先端技術と比較して,精度と計算要求のトレードオフに対処するアーキテクチャ,設計,分析を行う。
本稿では,MEM-RECが推奨品質を維持するだけでなく,商業規模のレコメンデーションモデルのメモリフットプリントを大幅に削減できるだけでなく,埋め込み遅延を改善することができることを示す。
特に,MEM-RECはMLPerf CriteoTBベンチマークのDLRMモデルサイズを2900倍に圧縮し,最大3.4倍高速な埋め込みを行うとともに,完全非圧縮モデルと同じAUCを実現する。
関連論文リスト
- EASRec: Elastic Architecture Search for Efficient Long-term Sequential
Recommender Systems [82.76483989905961]
現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。
我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。
EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
論文 参考訳(メタデータ) (2024-02-01T07:22:52Z) - Continual Referring Expression Comprehension via Dual Modular
Memorization [133.46886428655426]
Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。
既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。
本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。
学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
論文 参考訳(メタデータ) (2023-11-25T02:58:51Z) - Dynamic Embedding Size Search with Minimum Regret for Streaming
Recommender System [39.78277554870799]
同一かつ静的な埋め込みサイズの設定は、推奨性能とメモリコストの面で準最適であることを示す。
非定常的な方法でユーザ側とアイテム側の埋め込みサイズ選択を最小化する手法を提案する。
論文 参考訳(メタデータ) (2023-08-15T13:27:18Z) - Can SAM Boost Video Super-Resolution? [78.29033914169025]
単純な有効モジュールであるSAM-guidEd refinEment Module (SEEM)を提案する。
この軽量プラグインモジュールは、セマンティック・アウェア機能の生成にアテンションメカニズムを活用するように設計されている。
我々はSEEMをEDVRとBasicVSRの2つの代表的手法に適用し、最小限の実装労力で継続的に性能を向上する。
論文 参考訳(メタデータ) (2023-05-11T02:02:53Z) - MP-Rec: Hardware-Software Co-Design to Enable Multi-Path Recommendation [8.070008246742681]
最先端のレコメンデーションモデルは、テラバイト規模の埋め込みテーブルを使ってユーザの好みを学習する。
組込み表現とハードウェアプラットフォームとの相乗効果が,アルゴリズムおよびシステム性能の改善につながることを示す。
論文 参考訳(メタデータ) (2023-02-21T18:38:45Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - MEKER: Memory Efficient Knowledge Embedding Representation for Link
Prediction and Question Answering [65.62309538202771]
知識グラフ(KG)は、事実を象徴的に構造化した記憶装置である。
KG埋め込みには、実世界の暗黙的な情報を必要とするNLPタスクで使用される簡潔なデータが含まれている。
リンク予測タスクとKGに基づく質問応答においてSOTAに比較可能な性能をもたらすメモリ効率のよいKG埋め込みモデルを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:47:03Z) - Learning Compressed Embeddings for On-Device Inference [2.5641861018746734]
ディープラーニングでは、埋め込みは言葉、アプリ、映画などのカテゴリーの実体を表現するために広く使われている。
レコメンデーションドメインでは、与えられたカテゴリは数十万のエンティティを持つことができ、その埋め込み層はギガバイトのメモリを消費することができる。
本稿では,各エンティティを独自の埋め込みにマッピングしながら,埋め込みテーブルのサイズを小さくする新しい手法を提案する。
論文 参考訳(メタデータ) (2022-03-18T19:32:40Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳(メタデータ) (2021-02-24T19:55:49Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z) - Rich-Item Recommendations for Rich-Users: Exploiting Dynamic and Static
Side Information [20.176329366180934]
ユーザや推奨項目が複数のエンティティタイプを持つリッチなデータ構造であるレコメンデーションシステムの問題について検討する。
我々は、現代の現実世界のレコメンデーションの複雑さを捉えた問題に対する一般的な定式化を提供する。
本稿では,我々の定式化とMEDRESアーキテクチャの2つの実世界のケーススタディを示す。
論文 参考訳(メタデータ) (2020-01-28T17:53:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。