論文の概要: On the Embedding Collapse when Scaling up Recommendation Models

• arxiv url: http://arxiv.org/abs/2310.04400v1
• Date: Fri, 6 Oct 2023 17:50:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 12:50:12.033484
• Title: On the Embedding Collapse when Scaling up Recommendation Models
• Title（参考訳）: レコメンデーションモデルのスケールアップ時の組込み崩壊について
• Authors: Xingzhuo Guo, Junwei Pan, Ximei Wang, Baixu Chen, Jie Jiang, Mingsheng Long
• Abstract要約: 拡大モデルの埋め込み層について検討し, 埋没崩壊現象を同定した。 本稿では,組込みセット固有の相互作用モジュールを組み込んだ,シンプルで効果的なマルチ埋め込み設計を提案する。
• 参考スコア（独自算出の注目度）: 56.86200867149761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep foundation models have led to a promising trend of developing large recommendation models to leverage vast amounts of available data. However, we experiment to scale up existing recommendation models and observe that the enlarged models do not improve satisfactorily. In this context, we investigate the embedding layers of enlarged models and identify a phenomenon of embedding collapse, which ultimately hinders scalability, wherein the embedding matrix tends to reside in a low-dimensional subspace. Through empirical and theoretical analysis, we demonstrate that the feature interaction module specific to recommendation models has a two-sided effect. On the one hand, the interaction restricts embedding learning when interacting with collapsed embeddings, exacerbating the collapse issue. On the other hand, feature interaction is crucial in mitigating the fitting of spurious features, thereby improving scalability. Based on this analysis, we propose a simple yet effective multi-embedding design incorporating embedding-set-specific interaction modules to capture diverse patterns and reduce collapse. Extensive experiments demonstrate that this proposed design provides consistent scalability for various recommendation models.
• Abstract（参考訳）: 近年のディープ・ファンデーション・モデルの発展により、膨大な量のデータを活用する大規模なレコメンデーション・モデルの開発が期待できる傾向にある。 しかし、既存のレコメンデーションモデルをスケールアップし、拡張されたモデルが良好に改善されないことを観察する実験を行った。 この文脈では、拡大したモデルの埋め込み層を調査し、埋め込み崩壊の現象を特定し、最終的にスケーラビリティを阻害し、埋め込み行列は低次元部分空間に存在しがちである。 実験的および理論的解析により、推奨モデルに特有の特徴相互作用モジュールが2面効果を持つことを示した。 一方、相互作用は、崩壊した埋め込みと相互作用する際の埋め込み学習を制限し、崩壊問題を悪化させる。 一方、機能間の相互作用は、スプリアス機能の適合を緩和し、拡張性を改善するために不可欠である。 そこで本研究では,多種多様なパターンをキャプチャし,崩壊を減らすために組込みセット固有のインタラクションモジュールを組み込んだ,単純かつ効果的なマルチエンベディング設計を提案する。 広範な実験により、この設計が様々なレコメンデーションモデルに一貫したスケーラビリティを提供することが示された。

関連論文リスト

• MixRec: Heterogeneous Graph Collaborative Filtering [21.96510707666373]
  そこで本稿では,MixRecを用いたグラフ協調フィルタリングモデルを提案する。 本モデルでは,意図的不整合とマルチビヘイビア・モデリングを取り入れてこれを実現している。 また、自己教師付きデータ拡張の利点を適応的に探求する、新しいコントラスト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-18T13:12:36Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• FFHFlow: A Flow-based Variational Approach for Learning Diverse Dexterous Grasps with Shape-Aware Introspection [19.308304984645684]
  マルチフィンガーハンドの多様なグリップを生成できる新しいモデルを提案する。 提案手法は, 高いベースラインに対する性能向上と実行時の効率向上を実現する。 また,現実世界の雑多な作業空間や密集した作業空間において,より多様性の高いオブジェクトを把握できることのメリットも示している。
  論文  参考訳（メタデータ） (2024-07-21T13:33:08Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• MEIM: Multi-partition Embedding Interaction Beyond Block Term Format for Efficient and Expressive Link Prediction [3.718476964451589]
  ブロック項フォーマット(MEIM)モデルを超えたマルチパーティション埋め込みインタラクションiMprovedを導入する。 MEIMは、高い効率を保ちながら表現性を向上し、強力なベースラインを上回り、最先端の結果を得るのに役立つ。
  論文  参考訳（メタデータ） (2022-09-30T17:20:03Z)
• Revisiting Design Choices in Model-Based Offline Reinforcement Learning [39.01805509055988]
  オフライン強化学習により、エージェントは環境遷移の大規模な収集済みデータセットを利用して制御ポリシーを学習することができる。 本稿では、モデル数や仮想ロールアウト地平線など、他のハイパーパラメータとの相互作用を研究するための新しいプロトコルを比較し、設計する。
  論文  参考訳（メタデータ） (2021-10-08T13:51:34Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。