論文の概要: Learnable Embedding Sizes for Recommender Systems

• arxiv url: http://arxiv.org/abs/2101.07577v2
• Date: Thu, 11 Mar 2021 10:38:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:11:34.098638
• Title: Learnable Embedding Sizes for Recommender Systems
• Title（参考訳）: レコメンダシステムのための学習可能な埋め込みサイズ
• Authors: Siyi Liu, Chen Gao, Yihong Chen, Depeng Jin, Yong Li
• Abstract要約: 提案するpep(プラグイン埋め込みプルーニングの略)は,推奨精度の低下を回避しつつ埋め込みテーブルのサイズを削減する。 PEPは97-99%のパラメータを削減しながら、強いレコメンデーションパフォーマンスを達成する。 PEPは基本モデルと比較して20～30%のコストしかかからない。
• 参考スコア（独自算出の注目度）: 34.98757041815557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The embedding-based representation learning is commonly used in deep learning recommendation models to map the raw sparse features to dense vectors. The traditional embedding manner that assigns a uniform size to all features has two issues. First, the numerous features inevitably lead to a gigantic embedding table that causes a high memory usage cost. Second, it is likely to cause the over-fitting problem for those features that do not require too large representation capacity. Existing works that try to address the problem always cause a significant drop in recommendation performance or suffers from the limitation of unaffordable training time cost. In this paper, we proposed a novel approach, named PEP (short for Plug-in Embedding Pruning), to reduce the size of the embedding table while avoiding the drop of recommendation accuracy. PEP prunes embedding parameter where the pruning threshold(s) can be adaptively learned from data. Therefore we can automatically obtain a mixed-dimension embedding-scheme by pruning redundant parameters for each feature. PEP is a general framework that can plug in various base recommendation models. Extensive experiments demonstrate it can efficiently cut down embedding parameters and boost the base model's performance. Specifically, it achieves strong recommendation performance while reducing 97-99% parameters. As for the computation cost, PEP only brings an additional 20-30% time cost compared with base models. Codes are available at https://github.com/ssui-liu/learnable-embed-sizes-for-RecSys.
• Abstract（参考訳）: 埋め込み型表現学習は、生のスパース特徴を密度ベクトルにマッピングするためにディープラーニングのレコメンデーションモデルで一般的に使用される。 すべての機能に均一なサイズを割り当てる従来の埋め込み方式には2つの問題がある。 まず、多数の機能が必然的に巨大な埋め込みテーブルに結びつき、高いメモリ使用コストが生じる。 第二に、大きすぎる表現能力を必要としない機能に対して、過剰に適合する問題を引き起こす可能性が高い。 この問題に対処しようとする既存の作業は、常にレコメンデーションのパフォーマンスが大幅に低下するか、あるいは耐え難いトレーニング時間コストの制限に苦しむ。 本稿では,提案手法であるpep (plug-in embedded pruning の短縮形) を提案する。 プルーニングしきい値(s)がデータから適応的に学習できるPEPプルーネ埋め込みパラメータ。 したがって,各特徴の冗長パラメータをprunすることで,混合次元埋め込みスキームを自動的に得ることができる。 PEPは、様々なベースレコメンデーションモデルをプラグインできる一般的なフレームワークである。 大規模な実験では、埋め込みパラメータを効率的に削減し、ベースモデルのパフォーマンスを高めることができる。 具体的には、97～99%のパラメータを削減しながら、強力なレコメンデーションパフォーマンスを達成する。 計算コストに関しては、PEPはベースモデルと比較して20～30%のコストしかかからない。 コードはhttps://github.com/ssui-liu/learnable-embed-sizes-for-RecSysで入手できる。

関連論文リスト

• Sparser Training for On-Device Recommendation Systems [50.74019319100728]
  動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。 これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
  論文  参考訳（メタデータ） (2024-11-19T03:48:48Z)
• Expanding Sparse Tuning for Low Memory Usage [103.43560327427647]
  メモリ使用量が少ないスパースチューニングのためのSNELL(Sparse tuning with kerNelized LoRA)法を提案する。 低メモリ使用量を達成するため、SNELLはスカラー化のための調整可能な行列を2つの学習可能な低ランク行列に分解する。 コンペティションに基づくスペーシフィケーション機構は、チューナブルウェイトインデックスの保存を避けるためにさらに提案される。
  論文  参考訳（メタデータ） (2024-11-04T04:58:20Z)
• Scalable Dynamic Embedding Size Search for Streaming Recommendation [54.28404337601801]
  実世界のレコメンデーションシステムは、しばしばストリーミングレコメンデーションシナリオで機能する。 ユーザやアイテムの数は増加を続けており、かなりのストレージリソース消費につながっている。 SCALLと呼ばれるストリーミングレコメンデーション用のLightweight Embeddingsを学び、ユーザ/イテムの埋め込みサイズを適応的に調整できる。
  論文  参考訳（メタデータ） (2024-07-22T06:37:24Z)
• CRISP: Hybrid Structured Sparsity for Class-aware Model Pruning [4.775684973625185]
  機械学習パイプラインは、幅広いクラスにわたる正確性を達成するために、普遍的なモデルを訓練することが多い。 この格差は、ユーザー固有のクラスにフォーカスするようにモデルを調整することで、計算効率を高める機会を提供する。 細粒度N:M構造と粗粒度ブロックの粒度を組み合わせた新しい刈り込みフレームワークCRISPを提案する。 我々のプルーニング戦略は、勾配に基づくクラス対応サリエンシスコアによって導かれ、ユーザ固有のクラスに不可欠なウェイトを維持できる。
  論文  参考訳（メタデータ） (2023-11-24T04:16:32Z)
• Frustratingly Simple Memory Efficiency for Pre-trained Language Models via Dynamic Embedding Pruning [42.652021176354644]
  プレトレーニング言語モデル(PLM)のメモリフットプリントは、メモリ制限された設定でのデプロイメントを妨げる可能性がある。 本稿では, 組込み行列のメモリフットプリントを最小化するために, この発見を活用する, 単純かつ効果的な手法を提案する。 このアプローチは、幅広いモデルやタスクにわたるメモリ使用量を大幅に削減することを示している。
  論文  参考訳（メタデータ） (2023-09-15T19:00:00Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Binary Code based Hash Embedding for Web-scale Applications [12.851057275052506]
  ディープラーニングモデルは、レコメンダシステムやオンライン広告など、Webスケールのアプリケーションで広く採用されている。 これらのアプリケーションでは、分類的特徴の組込み学習がディープラーニングモデルの成功に不可欠である。 本稿では,バイナリコードに基づくハッシュ埋め込み方式を提案する。
  論文  参考訳（メタデータ） (2021-08-24T11:51:15Z)
• Learning Effective and Efficient Embedding via an Adaptively-Masked Twins-based Layer [15.403616481651383]
  本稿では,標準埋め込み層の背後に適応型ツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツ AMTLは、埋め込みベクトルごとに望ましくない次元をマスクするマスクベクトルを生成する。 マスクベクトルは次元の選択に柔軟性をもたらし、提案した層は訓練されていないDLRMや訓練されていないDLRMに簡単に追加できる。
  論文  参考訳（メタデータ） (2021-08-24T11:50:49Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。