論文の概要: Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems
- arxiv url: http://arxiv.org/abs/2401.04408v2
- Date: Sun, 13 Oct 2024 07:05:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 17:54:31.706145
- Title: Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems
- Title(参考訳): リコメンダシステムのトレーニングにおける微粒化埋め込み次元最適化
- Authors: Qinyi Luo, Penghan Wang, Wei Zhang, Fan Lai, Jiachen Mao, Xiaohan Wei, Jun Song, Wei-Yu Tsai, Shuai Yang, Yuxi Hu, Xuehai Qian,
- Abstract要約: FIITEDは、FIne-fine In-Training Embedding Dimension Pruningを通じてメモリフットプリントを自動的に削減するシステムである。
FIITEDは,モデル品質を維持しつつ,DLRMの埋め込みサイズを65%以上削減できることを示す。
公開データセットでは、FIITEDはテーブルの埋め込みサイズを2.1倍から800倍に減らすことができる。
- 参考スコア(独自算出の注目度): 17.602059421895856
- License:
- Abstract: Huge embedding tables in modern deep learning recommender models (DLRM) require prohibitively large memory during training and inference. This paper proposes FIITED, a system to automatically reduce the memory footprint via FIne-grained In-Training Embedding Dimension pruning. By leveraging the key insight that embedding vectors are not equally important, FIITED adaptively adjusts the dimension of each individual embedding vector during model training, assigning larger dimensions to more important embeddings while adapting to dynamic changes in data. We prioritize embedding dimensions with higher frequencies and gradients as more important. To enable efficient pruning of embeddings and their dimensions during model training, we propose an embedding storage system based on virtually-hashed physically-indexed hash tables. Experiments on two industry models and months of realistic datasets show that FIITED can reduce DLRM embedding size by more than 65% while preserving model quality, outperforming state-of-the-art in-training embedding pruning methods. On public datasets, FIITED can reduce the size of embedding tables by 2.1x to 800x with negligible accuracy drop, while improving model throughput.
- Abstract(参考訳): 現代のディープラーニングレコメンデータモデル(DLRM)に巨大な埋め込みテーブルを組み込むには、トレーニングと推論の間、極めて大きなメモリを必要とする。
本稿では,FIITEDを提案する。FIITEDは,Fine-fine In-Training Embedding Dimension Pruningによるメモリフットプリントを自動的に削減するシステムである。
埋め込みベクトルが等しく重要でないというキーインサイトを活用することで、FIITEDはモデルトレーニング中に個々の埋め込みベクトルの次元を適応的に調整し、より重要な埋め込みにより大きな次元を割り当て、データの動的変化に適応する。
より重要なものとして、高い周波数と勾配の埋め込み次元を優先する。
モデル学習における埋め込みとその寸法の効率的な決定を可能にするため,仮想ハッシュテーブルに基づく埋め込み記憶システムを提案する。
2つの業界モデルと数ヶ月のリアルデータセットの実験により、FIITEDはモデル品質を維持しながらDLRMの埋め込みサイズを65%以上削減し、最先端のイントレーニング型埋め込みプルーニング手法より優れた性能を発揮することが示された。
公開データセットでは、FIITEDは、モデルのスループットを改善しながら、無視できる精度の低下で、埋め込みテーブルのサイズを2.1倍から800倍に縮小することができる。
関連論文リスト
- Sparsity-Preserving Differentially Private Training of Large Embedding
Models [67.29926605156788]
DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。
DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。
我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-14T17:59:51Z) - Enhancing Cross-Category Learning in Recommendation Systems with
Multi-Layer Embedding Training [2.4862527485819186]
多層埋め込み訓練(MLET)は、埋め込み層の因子化による埋め込みを訓練する。
MLETは、特に稀なアイテムに対して、一貫してより良いモデルを生成する。
モデル品質が一定であれば、MLETは埋め込み寸法とモデルサイズを最大16倍、平均5.8倍まで減らすことができる。
論文 参考訳(メタデータ) (2023-09-27T09:32:10Z) - MTrainS: Improving DLRM training efficiency using heterogeneous memories [5.195887979684162]
Deep Learning Recommendation Models (DLRM)では、埋め込みテーブルを通じてカテゴリ入力をキャプチャするスパース機能がモデルサイズの主要なコントリビュータであり、高いメモリ帯域幅を必要とする。
本稿では,実世界展開モデルにおける埋め込みテーブルの帯域幅と局所性について検討する。
次に、バイトを含む異種メモリを活用するMTrainSを設計し、DLRMの階層的にアドレス指定可能なストレージクラスメモリをブロックする。
論文 参考訳(メタデータ) (2023-04-19T06:06:06Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳(メタデータ) (2023-03-30T03:22:52Z) - DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。
そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。
実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
論文 参考訳(メタデータ) (2022-08-05T03:15:28Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳(メタデータ) (2022-04-02T09:50:19Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳(メタデータ) (2021-11-22T11:23:01Z) - MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the
Edge [72.16021611888165]
本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。
提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。
以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
論文 参考訳(メタデータ) (2021-10-26T21:15:17Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳(メタデータ) (2021-02-24T19:55:49Z) - A Novel Memory-Efficient Deep Learning Training Framework via
Error-Bounded Lossy Compression [6.069852296107781]
本稿では,メモリ駆動型高速DNNトレーニングフレームワークを提案する。
我々のフレームワークは、ベースライントレーニングと圧縮による最先端フレームワークよりも最大13.5xと1.8xのトレーニングメモリ消費を大幅に削減することができる。
論文 参考訳(メタデータ) (2020-11-18T00:47:21Z) - Mixed-Precision Embedding Using a Cache [3.0298877977523144]
キャッシュメモリアーキテクチャを用いて,組込みにおける行の大部分を低精度でトレーニングする,組込みテーブルの新たな変更を提案する。
CriteoKaggleデータセットで実行されるオープンソースのディープラーニングレコメンデーションモデル(DLRM)では,INT8の高精度埋め込みテーブルと完全精度キャッシュで3倍のメモリ削減を実現している。
産業規模のモデルとデータセットでは, INT4精度とキャッシュサイズ1%の埋め込みテーブルで, 7倍のメモリ削減を実現している。
論文 参考訳(メタデータ) (2020-10-21T20:49:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。