論文の概要: Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems

• arxiv url: http://arxiv.org/abs/2401.04408v1
• Date: Tue, 9 Jan 2024 08:04:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 16:19:34.443733
• Title: Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems
• Title（参考訳）: リコメンダシステムのトレーニングにおける微粒埋め込み次元最適化
• Authors: Qinyi Luo, Penghan Wang, Wei Zhang, Fan Lai, Jiachen Mao, Xiaohan Wei, Jun Song, Wei-Yu Tsai, Shuai Yang, Yuxi Hu and Xuehai Qian
• Abstract要約: FIITED(Fine-fine In-Training Embedding Dimension Optimization) 2つの業界モデルの実験は、FIITEDがトレーニングされたモデルの品質を維持しながら、埋め込みのサイズを65%以上削減できることを示している。
• 参考スコア（独自算出の注目度）: 18.125952266473533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Huge embedding tables in modern Deep Learning Recommender Models (DLRM) require prohibitively large memory during training and inference. Aiming to reduce the memory footprint of training, this paper proposes FIne-grained In-Training Embedding Dimension optimization (FIITED). Given the observation that embedding vectors are not equally important, FIITED adjusts the dimension of each individual embedding vector continuously during training, assigning longer dimensions to more important embeddings while adapting to dynamic changes in data. A novel embedding storage system based on virtually-hashed physically-indexed hash tables is designed to efficiently implement the embedding dimension adjustment and effectively enable memory saving. Experiments on two industry models show that FIITED is able to reduce the size of embeddings by more than 65% while maintaining the trained model's quality, saving significantly more memory than a state-of-the-art in-training embedding pruning method. On public click-through rate prediction datasets, FIITED is able to prune up to 93.75%-99.75% embeddings without significant accuracy loss.
• Abstract（参考訳）: 現代のDeep Learning Recommender Models (DLRM) における巨大な埋め込みテーブルは、トレーニングと推論の間、極めて大きなメモリを必要とする。 本稿では,トレーニングのメモリフットプリントを削減するため,FIITED(FIne-fine In-Training Embedding Dimension Optimization)を提案する。 埋め込みベクトルは等しく重要でないという観測から、fiitedはトレーニング中に個々の埋め込みベクトルの次元を連続的に調整し、より重要な埋め込みに長い次元を割り当て、データの動的変化に適応させる。 埋め込み次元調整を効率よく実装し、メモリ節約を効果的に行うために、仮想ハッシュ化物理インデックス式ハッシュテーブルに基づく新しい埋め込み記憶システムを構築した。 2つの業界モデルでの実験では、FIITEDはトレーニングされたモデルの品質を維持しながら埋め込みのサイズを65%以上削減でき、最先端のイントレーニング型埋め込みプルーニング法よりもはるかに多くのメモリを節約できる。 公開クリックスルーレート予測データセットでは、FIITEDは93.75%-99.75%の埋め込みを精度の低下なく再現することができる。

関連論文リスト

• Hollowed Net for On-Device Personalization of Text-to-Image Diffusion Models [51.3915762595891]
  本稿では、デバイス上での主観的生成のための効率的なLoRAに基づくパーソナライズ手法を提案する。 提案手法はHollowed Netと呼ばれ,拡散U-Netのアーキテクチャを変更することにより,微調整時のメモリ効率を向上させる。
  論文  参考訳（メタデータ） (2024-11-02T08:42:48Z)
• Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
  本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
  論文  参考訳（メタデータ） (2024-01-08T18:59:31Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Enhancing Cross-Category Learning in Recommendation Systems with Multi-Layer Embedding Training [2.4862527485819186]
  多層埋め込み訓練(MLET)は、埋め込み層の因子化による埋め込みを訓練する。 MLETは、特に稀なアイテムに対して、一貫してより良いモデルを生成する。 モデル品質が一定であれば、MLETは埋め込み寸法とモデルサイズを最大16倍、平均5.8倍まで減らすことができる。
  論文  参考訳（メタデータ） (2023-09-27T09:32:10Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• MTrainS: Improving DLRM training efficiency using heterogeneous memories [5.195887979684162]
  Deep Learning Recommendation Models (DLRM)では、埋め込みテーブルを通じてカテゴリ入力をキャプチャするスパース機能がモデルサイズの主要なコントリビュータであり、高いメモリ帯域幅を必要とする。 本稿では,実世界展開モデルにおける埋め込みテーブルの帯域幅と局所性について検討する。 次に、バイトを含む異種メモリを活用するMTrainSを設計し、DLRMの階層的にアドレス指定可能なストレージクラスメモリをブロックする。
  論文  参考訳（メタデータ） (2023-04-19T06:06:06Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framework [17.114812060566766]
  我々は,大規模な埋め込みモデルトレーニングのスケーラビリティを大幅に向上させる新しいシステムフレームワークであるHETを提案する。 HETは、組込み通信の削減を最大88%達成し、最先端のベースラインよりも最大20.68倍の性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-14T08:18:10Z)
• OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless Compression [49.10945855716001]
  本稿では,事前学習した深部生成モデルから始まり,そのモデルに動的システムを適用してデータバッチを圧縮する手法を提案する。 実験結果から、バニラOSOAは、トレーニング対象のモデルとスペースに対して、すべてのターゲットに対して1つのモデルを使用することに対して、かなりの時間を節約できることが示された。
  論文  参考訳（メタデータ） (2021-11-02T15:18:25Z)
• Mixed-Precision Embedding Using a Cache [3.0298877977523144]
  キャッシュメモリアーキテクチャを用いて,組込みにおける行の大部分を低精度でトレーニングする,組込みテーブルの新たな変更を提案する。 CriteoKaggleデータセットで実行されるオープンソースのディープラーニングレコメンデーションモデル(DLRM)では,INT8の高精度埋め込みテーブルと完全精度キャッシュで3倍のメモリ削減を実現している。 産業規模のモデルとデータセットでは, INT4精度とキャッシュサイズ1%の埋め込みテーブルで, 7倍のメモリ削減を実現している。
  論文  参考訳（メタデータ） (2020-10-21T20:49:54Z)
• Training with Multi-Layer Embeddings for Model Reduction [0.9046327456472286]
  複数層埋め込み学習アーキテクチャを導入し, 一連の線形層を通して埋め込みを訓練する。 その結果,メモリフットプリントの精度が向上し,dを4～8倍削減できることがわかった。
  論文  参考訳（メタデータ） (2020-06-10T02:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。