論文の概要: On the Embedding Collapse when Scaling up Recommendation Models
- arxiv url: http://arxiv.org/abs/2310.04400v1
- Date: Fri, 6 Oct 2023 17:50:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-09 12:50:12.033484
- Title: On the Embedding Collapse when Scaling up Recommendation Models
- Title(参考訳): レコメンデーションモデルのスケールアップ時の組込み崩壊について
- Authors: Xingzhuo Guo, Junwei Pan, Ximei Wang, Baixu Chen, Jie Jiang, Mingsheng
Long
- Abstract要約: 拡大モデルの埋め込み層について検討し, 埋没崩壊現象を同定した。
本稿では,組込みセット固有の相互作用モジュールを組み込んだ,シンプルで効果的なマルチ埋め込み設計を提案する。
- 参考スコア(独自算出の注目度): 56.86200867149761
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in deep foundation models have led to a promising trend of
developing large recommendation models to leverage vast amounts of available
data. However, we experiment to scale up existing recommendation models and
observe that the enlarged models do not improve satisfactorily. In this
context, we investigate the embedding layers of enlarged models and identify a
phenomenon of embedding collapse, which ultimately hinders scalability, wherein
the embedding matrix tends to reside in a low-dimensional subspace. Through
empirical and theoretical analysis, we demonstrate that the feature interaction
module specific to recommendation models has a two-sided effect. On the one
hand, the interaction restricts embedding learning when interacting with
collapsed embeddings, exacerbating the collapse issue. On the other hand,
feature interaction is crucial in mitigating the fitting of spurious features,
thereby improving scalability. Based on this analysis, we propose a simple yet
effective multi-embedding design incorporating embedding-set-specific
interaction modules to capture diverse patterns and reduce collapse. Extensive
experiments demonstrate that this proposed design provides consistent
scalability for various recommendation models.
- Abstract(参考訳): 近年のディープ・ファンデーション・モデルの発展により、膨大な量のデータを活用する大規模なレコメンデーション・モデルの開発が期待できる傾向にある。
しかし、既存のレコメンデーションモデルをスケールアップし、拡張されたモデルが良好に改善されないことを観察する実験を行った。
この文脈では、拡大したモデルの埋め込み層を調査し、埋め込み崩壊の現象を特定し、最終的にスケーラビリティを阻害し、埋め込み行列は低次元部分空間に存在しがちである。
実験的および理論的解析により、推奨モデルに特有の特徴相互作用モジュールが2面効果を持つことを示した。
一方、相互作用は、崩壊した埋め込みと相互作用する際の埋め込み学習を制限し、崩壊問題を悪化させる。
一方、機能間の相互作用は、スプリアス機能の適合を緩和し、拡張性を改善するために不可欠である。
そこで本研究では,多種多様なパターンをキャプチャし,崩壊を減らすために組込みセット固有のインタラクションモジュールを組み込んだ,単純かつ効果的なマルチエンベディング設計を提案する。
広範な実験により、この設計が様々なレコメンデーションモデルに一貫したスケーラビリティを提供することが示された。
関連論文リスト
- Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳(メタデータ) (2024-02-12T16:15:25Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳(メタデータ) (2024-01-25T09:18:51Z) - Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳(メタデータ) (2024-01-16T14:58:21Z) - ConvD: Attention Enhanced Dynamic Convolutional Embeddings for Knowledge
Graph Completion [11.223893397502431]
本稿では,知識グラフ補完のための動的畳み込み埋め込みモデルConvDを提案する。
提案手法は,最先端のベースライン法より一貫して優れている。
論文 参考訳(メタデータ) (2023-12-11T07:37:58Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳(メタデータ) (2022-10-15T17:57:43Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2021-11-29T18:59:09Z) - Discriminative Multimodal Learning via Conditional Priors in Generative
Models [21.166519800652047]
本研究は,モデルトレーニングにおいて,すべてのモダリティとクラスラベルが利用できる現実的なシナリオについて研究する。
このシナリオでは、変動的な下界境界は、結合表現と欠測モダリティの間の相互情報を制限する。
論文 参考訳(メタデータ) (2021-10-09T17:22:24Z) - Revisiting Design Choices in Model-Based Offline Reinforcement Learning [39.01805509055988]
オフライン強化学習により、エージェントは環境遷移の大規模な収集済みデータセットを利用して制御ポリシーを学習することができる。
本稿では、モデル数や仮想ロールアウト地平線など、他のハイパーパラメータとの相互作用を研究するための新しいプロトコルを比較し、設計する。
論文 参考訳(メタデータ) (2021-10-08T13:51:34Z) - Improving the Reconstruction of Disentangled Representation Learners via
Multi-Stage Modelling [36.511724015405036]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
モデルが相関変数を学習するのに十分な能力を持っていないため,不整合表現学習と再構成品質のトレードオフがもたらされる。
本稿では,既存の不整合表現学習手法を用いて,非整合因子をまず学習する,新しい多段階モデリング手法を提案する。
提案するマルチステージモデルは,複数の標準ベンチマークにおいて等価なアンタングル性能を有する現在の最先端手法よりも,はるかに高い再現性を有することを示す。
論文 参考訳(メタデータ) (2020-10-25T18:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。