論文の概要: Enhancing Cross-Category Learning in Recommendation Systems with
Multi-Layer Embedding Training
- arxiv url: http://arxiv.org/abs/2309.15881v1
- Date: Wed, 27 Sep 2023 09:32:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 19:30:35.943612
- Title: Enhancing Cross-Category Learning in Recommendation Systems with
Multi-Layer Embedding Training
- Title（参考訳）: 多層埋め込み学習によるレコメンデーションシステムにおけるカテゴリー間学習の強化
- Authors: Zihao Deng, Benjamin Ghaemmaghami, Ashish Kumar Singh, Benjamin Cho,
Leo Orshansky, Mattan Erez, Michael Orshansky
- Abstract要約: 多層埋め込み訓練(MLET)は、埋め込み層の因子化による埋め込みを訓練する。
MLETは、特に稀なアイテムに対して、一貫してより良いモデルを生成する。
モデル品質が一定であれば、MLETは埋め込み寸法とモデルサイズを最大16倍、平均5.8倍まで減らすことができる。
- 参考スコア（独自算出の注目度）: 2.4862527485819186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern DNN-based recommendation systems rely on training-derived embeddings
of sparse features. Input sparsity makes obtaining high-quality embeddings for
rarely-occurring categories harder as their representations are updated
infrequently. We demonstrate a training-time technique to produce superior
embeddings via effective cross-category learning and theoretically explain its
surprising effectiveness. The scheme, termed the multi-layer embeddings
training (MLET), trains embeddings using factorization of the embedding layer,
with an inner dimension higher than the target embedding dimension. For
inference efficiency, MLET converts the trained two-layer embedding into a
single-layer one thus keeping inference-time model size unchanged.
Empirical superiority of MLET is puzzling as its search space is not larger
than that of the single-layer embedding. The strong dependence of MLET on the
inner dimension is even more surprising. We develop a theory that explains both
of these behaviors by showing that MLET creates an adaptive update mechanism
modulated by the singular vectors of embeddings. When tested on multiple
state-of-the-art recommendation models for click-through rate (CTR) prediction
tasks, MLET consistently produces better models, especially for rare items. At
constant model quality, MLET allows embedding dimension, and model size,
reduction by up to 16x, and 5.8x on average, across the models.
- Abstract（参考訳）: 現代のDNNベースのレコメンデーションシステムは、スパース機能のトレーニング由来の埋め込みに依存している。
入力空間は、まれに発生するカテゴリの表現が頻繁に更新されるため、高品質な埋め込みを得るのを難しくする。
効果的なクロスカテゴリ学習を通じて優れた埋め込みを生成するためのトレーニングタイム手法を示し,その驚くべき効果を理論的に説明する。
このスキームはMLET(Multi-layer embeddeddings Training)と呼ばれ、埋め込み層の因子化による埋め込みを目標埋め込み次元よりも高い内部次元で訓練する。
推論効率を向上させるため、MLETはトレーニングされた2層埋め込みを1層に変換し、推論時間モデルのサイズを一定に保つ。
MLETの探索空間は単層埋め込みよりも大きくないため、実証的なMLETの優位性は曖昧である。
MLETの内次元への強い依存はさらに驚くべきものである。
MLETは, 埋め込みの特異ベクトルによって変調された適応的な更新機構を生成することを示すことによって, これら両方の挙動を説明する理論を開発する。
クリックスルー率(CTR)予測タスクのための複数の最先端レコメンデーションモデルでテストすると、MLETは、特に稀な項目において、一貫してより良いモデルを生成する。
モデル品質が一定であれば、MLETは埋め込み寸法とモデルサイズを許容し、モデル全体の平均16倍、平均5.8倍まで削減できる。
関連論文リスト
- 2D Matryoshka Training for Information Retrieval [32.44832240958393]
2D Matryoshka Trainingは、エンコーダモデルを様々なレイヤ次元のセットアップで同時にトレーニングするために設計された埋め込み表現トレーニングアプローチである。
STSタスクにおける2D Matryoshka Trainingの両バージョンの実装と評価を行い,解析を検索タスクに拡張した。
論文 参考訳（メタデータ） (2024-11-26T10:47:35Z) - Starbucks: Improved Training for 2D Matryoshka Embeddings [32.44832240958393]
我々は,Matryoshkaライクな埋め込みモデルの新たなトレーニング戦略であるStarbucksを提案する。
微調整相について、我々は、小さなサイズから大きなサイズの層次元対の固定されたリストを提供する。
また,サブレイヤとサブディメンジョンにマスク付きオートエンコーダ言語モデリングを適用する,新しい事前学習戦略を導入する。
論文 参考訳（メタデータ） (2024-10-17T05:33:50Z) - Inheritune: Training Smaller Yet More Attentive Language Models [61.363259848264725]
Inherituneは、より小型で高性能な言語モデルを開発するための、シンプルで効果的なトレーニングレシピである。
Inheritune は OpenWebText-9B や FineWeb_edu のようなデータセット上で GPT-2 モデルのさまざまなサイズのトレーニングを可能にする。
論文 参考訳（メタデータ） (2024-04-12T17:53:34Z) - Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems [17.602059421895856]
FIITEDは、FIne-fine In-Training Embedding Dimension Pruningを通じてメモリフットプリントを自動的に削減するシステムである。
FIITEDは,モデル品質を維持しつつ,DLRMの埋め込みサイズを65%以上削減できることを示す。
公開データセットでは、FIITEDはテーブルの埋め込みサイズを2.1倍から800倍に減らすことができる。
論文 参考訳（メタデータ） (2024-01-09T08:04:11Z) - Improving Discriminative Multi-Modal Learning with Large-Scale
Pre-Trained Models [51.5543321122664]
本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。
MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
論文 参考訳（メタデータ） (2023-10-08T15:01:54Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Phantom Embeddings: Using Embedding Space for Model Regularization in
Deep Neural Networks [12.293294756969477]
機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。
複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。
情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-14T17:15:54Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳（メタデータ） (2022-05-31T04:57:06Z) - LV-BERT: Exploiting Layer Variety for BERT [85.27287501885807]
我々は,事前学習モデルに有益である層型集合に畳み込みを導入する。
次に、事前学習による進化的アルゴリズムを採用し、最適なアーキテクチャを求める。
提案手法により得られたLV-BERTモデルは,様々な下流タスクにおいてBERTとその変種より優れる。
論文 参考訳（メタデータ） (2021-06-22T13:20:14Z) - Training with Multi-Layer Embeddings for Model Reduction [0.9046327456472286]
複数層埋め込み学習アーキテクチャを導入し, 一連の線形層を通して埋め込みを訓練する。
その結果,メモリフットプリントの精度が向上し,dを4～8倍削減できることがわかった。
論文 参考訳（メタデータ） (2020-06-10T02:47:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。