論文の概要: Mem-Rec: Memory Efficient Recommendation System using Alternative
Representation
- arxiv url: http://arxiv.org/abs/2305.07205v2
- Date: Mon, 15 May 2023 01:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 11:07:48.605681
- Title: Mem-Rec: Memory Efficient Recommendation System using Alternative
Representation
- Title（参考訳）: Mem-Rec:代替表現を用いたメモリ効率の良いレコメンデーションシステム
- Authors: Gopi Krishna Jha, Anthony Thomas, Nilesh Jain, Sameh Gobriel, Tajana
Rosing, Ravi Iyer
- Abstract要約: MEM-RECは、テーブルを埋め込むための新しい代替表現手法である。
MEM-RECはレコメンデーション品質を維持するだけでなく、埋め込み遅延を改善することができる。
- 参考スコア（独自算出の注目度）: 6.542635536704625
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning-based recommendation systems (e.g., DLRMs) are widely used AI
models to provide high-quality personalized recommendations. Training data used
for modern recommendation systems commonly includes categorical features taking
on tens-of-millions of possible distinct values. These categorical tokens are
typically assigned learned vector representations, that are stored in large
embedding tables, on the order of 100s of GB. Storing and accessing these
tables represent a substantial burden in commercial deployments. Our work
proposes MEM-REC, a novel alternative representation approach for embedding
tables. MEM-REC leverages bloom filters and hashing methods to encode
categorical features using two cache-friendly embedding tables. The first table
(token embedding) contains raw embeddings (i.e. learned vector representation),
and the second table (weight embedding), which is much smaller, contains
weights to scale these raw embeddings to provide better discriminative
capability to each data point. We provide a detailed architecture, design and
analysis of MEM-REC addressing trade-offs in accuracy and computation
requirements, in comparison with state-of-the-art techniques. We show that
MEM-REC can not only maintain the recommendation quality and significantly
reduce the memory footprint for commercial scale recommendation models but can
also improve the embedding latency. In particular, based on our results,
MEM-REC compresses the MLPerf CriteoTB benchmark DLRM model size by 2900x and
performs up to 3.4x faster embeddings while achieving the same AUC as that of
the full uncompressed model.
- Abstract（参考訳）: ディープラーニングベースのレコメンデーションシステム(DLRMなど)は、高品質なパーソナライズされたレコメンデーションを提供するために広く使われているAIモデルである。
現代のレコメンデーションシステムで使用されるトレーニングデータには、考えられる数万の異なる値を扱う分類的特徴が含まれている。
これらの分類トークンは通常、100GBの順序で大きな埋め込みテーブルに格納される学習されたベクトル表現に割り当てられる。
これらのテーブルの保存とアクセスは、商業展開においてかなりの負担となる。
本稿では,テーブルを埋め込む新しい代替表現手法であるMEM-RECを提案する。
MEM-RECは2つのキャッシュフレンドリーな埋め込みテーブルを使用して分類機能をエンコードするために、ブルームフィルタとハッシュ法を利用する。
第1のテーブル(トーケン埋め込み)は生の埋め込み(すなわち学習ベクトル表現)を含み、第2のテーブル(重み込み)は、より小さく、これらの生の埋め込みをスケールして各データポイントにより良い識別能力を与える重みを含む。
我々は,MEM-RECの最先端技術と比較して,精度と計算要求のトレードオフに対処するアーキテクチャ,設計,分析を行う。
本稿では,MEM-RECが推奨品質を維持するだけでなく,商業規模のレコメンデーションモデルのメモリフットプリントを大幅に削減できるだけでなく,埋め込み遅延を改善することができることを示す。
特に,MEM-RECはMLPerf CriteoTBベンチマークのDLRMモデルサイズを2900倍に圧縮し,最大3.4倍高速な埋め込みを行うとともに,完全非圧縮モデルと同じAUCを実現する。
関連論文リスト
- DQRM: Deep Quantized Recommendation Models [34.73674946187648]
大規模なレコメンデーションモデルは、多くの大手インターネット企業にとって主要な作業負荷である。
これらの1TB以上のテーブルのサイズは、レコメンデーションモデルのトレーニングと推論に深刻なメモリボトルネックを課す。
我々は、最先端のディープラーニング勧告モデル(DLRM)に基づいて、小規模で強力で、実行および訓練に効率の良い新しい推薦フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-26T02:33:52Z) - TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。
TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。
以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
論文 参考訳（メタデータ） (2024-10-07T04:15:02Z) - Scalable Dynamic Embedding Size Search for Streaming Recommendation [54.28404337601801]
実世界のレコメンデーションシステムは、しばしばストリーミングレコメンデーションシナリオで機能する。
ユーザやアイテムの数は増加を続けており、かなりのストレージリソース消費につながっている。
SCALLと呼ばれるストリーミングレコメンデーション用のLightweight Embeddingsを学び、ユーザ/イテムの埋め込みサイズを適応的に調整できる。
論文 参考訳（メタデータ） (2024-07-22T06:37:24Z) - CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。
KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。
検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
論文 参考訳（メタデータ） (2024-04-24T16:11:54Z) - Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems [17.602059421895856]
FIITEDは、FIne-fine In-Training Embedding Dimension Pruningを通じてメモリフットプリントを自動的に削減するシステムである。
FIITEDは,モデル品質を維持しつつ,DLRMの埋め込みサイズを65%以上削減できることを示す。
公開データセットでは、FIITEDはテーブルの埋め込みサイズを2.1倍から800倍に減らすことができる。
論文 参考訳（メタデータ） (2024-01-09T08:04:11Z) - Continual Referring Expression Comprehension via Dual Modular
Memorization [133.46886428655426]
Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。
既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。
本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。
学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
論文 参考訳（メタデータ） (2023-11-25T02:58:51Z) - Dynamic Embedding Size Search with Minimum Regret for Streaming
Recommender System [39.78277554870799]
同一かつ静的な埋め込みサイズの設定は、推奨性能とメモリコストの面で準最適であることを示す。
非定常的な方法でユーザ側とアイテム側の埋め込みサイズ選択を最小化する手法を提案する。
論文 参考訳（メタデータ） (2023-08-15T13:27:18Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2022-05-26T08:24:01Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳（メタデータ） (2021-02-24T19:55:49Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳（メタデータ） (2020-04-21T08:40:55Z) - Rich-Item Recommendations for Rich-Users: Exploiting Dynamic and Static
Side Information [20.176329366180934]
ユーザや推奨項目が複数のエンティティタイプを持つリッチなデータ構造であるレコメンデーションシステムの問題について検討する。
我々は、現代の現実世界のレコメンデーションの複雑さを捉えた問題に対する一般的な定式化を提供する。
本稿では,我々の定式化とMEDRESアーキテクチャの2つの実世界のケーススタディを示す。
論文 参考訳（メタデータ） (2020-01-28T17:53:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。