論文の概要: On the Embedding Collapse when Scaling up Recommendation Models

• arxiv url: http://arxiv.org/abs/2310.04400v2
• Date: Thu, 6 Jun 2024 08:36:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 00:39:36.722894
• Title: On the Embedding Collapse when Scaling up Recommendation Models
• Title（参考訳）: 推薦モデルのスケールアップにおける埋め込み崩壊について
• Authors: Xingzhuo Guo, Junwei Pan, Ximei Wang, Baixu Chen, Jie Jiang, Mingsheng Long,
• Abstract要約: 埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
• 参考スコア（独自算出の注目度）: 53.66285358088788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in foundation models have led to a promising trend of developing large recommendation models to leverage vast amounts of available data. Still, mainstream models remain embarrassingly small in size and na\"ive enlarging does not lead to sufficient performance gain, suggesting a deficiency in the model scalability. In this paper, we identify the embedding collapse phenomenon as the inhibition of scalability, wherein the embedding matrix tends to occupy a low-dimensional subspace. Through empirical and theoretical analysis, we demonstrate a \emph{two-sided effect} of feature interaction specific to recommendation models. On the one hand, interacting with collapsed embeddings restricts embedding learning and exacerbates the collapse issue. On the other hand, interaction is crucial in mitigating the fitting of spurious features as a scalability guarantee. Based on our analysis, we propose a simple yet effective multi-embedding design incorporating embedding-set-specific interaction modules to learn embedding sets with large diversity and thus reduce collapse. Extensive experiments demonstrate that this proposed design provides consistent scalability and effective collapse mitigation for various recommendation models. Code is available at this repository: https://github.com/thuml/Multi-Embedding.
• Abstract（参考訳）: 基礎モデルの最近の進歩は、大量の利用可能なデータを活用するための大規模なレコメンデーションモデルを開発するという有望な傾向につながっている。 それでも、主流モデルのサイズはいまだに恥ずかしいほど小さく、na\\の拡大は十分なパフォーマンス向上には至らず、モデルのスケーラビリティの欠如を示唆している。 本稿では,埋め込み崩壊現象をスケーラビリティの阻害とみなし,埋め込み行列が低次元部分空間を占める傾向にあることを示す。 経験的および理論的解析を通じて、推奨モデルに特有の特徴相互作用の 'emph{two-sided effect} を実証する。 一方、崩壊した埋め込みとの相互作用は、埋め込み学習を制限し、崩壊問題を悪化させる。 一方、相互運用性は、スケーラビリティの保証として、突発的な機能の適合を緩和するために不可欠である。 そこで本研究では, 組込み集合固有の相互作用モジュールを組み込んだ簡易かつ効果的な組込み設計を提案し, 多様性の高い組込み集合を学習し, 崩壊の低減を図る。 大規模な実験により、この設計は様々なレコメンデーションモデルに対して一貫したスケーラビリティと効果的な崩壊軽減を提供することを示した。 コードは、このリポジトリで入手できる。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Scalable Ensembling For Mitigating Reward Overoptimisation [24.58937616758007]
  ヒューマンフィードバックからの強化学習は、強力な命令追従モデルのための言語モデリングにおける大幅な進歩を可能にした。 ポリシーが学習したプロキシ"報酬モデルに過度に適合する傾向にあるため、これらのモデルの整合性は依然として急進的な課題である。
  論文  参考訳（メタデータ） (2024-06-03T05:46:53Z)
• Uplift Modeling Under Limited Supervision [11.548203301440179]
  電子商取引における因果効果の推定には、大規模な環境では実用的でないような費用がかかる傾向がある。 電子商取引データに共通するグラフに依存して,必要なトレーニングセットのサイズを小さくするグラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-28T10:19:36Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• MEIM: Multi-partition Embedding Interaction Beyond Block Term Format for Efficient and Expressive Link Prediction [3.718476964451589]
  ブロック項フォーマット(MEIM)モデルを超えたマルチパーティション埋め込みインタラクションiMprovedを導入する。 MEIMは、高い効率を保ちながら表現性を向上し、強力なベースラインを上回り、最先端の結果を得るのに役立つ。
  論文  参考訳（メタデータ） (2022-09-30T17:20:03Z)
• Revisiting Design Choices in Model-Based Offline Reinforcement Learning [39.01805509055988]
  オフライン強化学習により、エージェントは環境遷移の大規模な収集済みデータセットを利用して制御ポリシーを学習することができる。 本稿では、モデル数や仮想ロールアウト地平線など、他のハイパーパラメータとの相互作用を研究するための新しいプロトコルを比較し、設計する。
  論文  参考訳（メタデータ） (2021-10-08T13:51:34Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。