論文の概要: Understanding Embedding Scaling in Collaborative Filtering

• arxiv url: http://arxiv.org/abs/2509.15709v2
• Date: Mon, 27 Oct 2025 08:48:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 22:08:13.783837
• Title: Understanding Embedding Scaling in Collaborative Filtering
• Title（参考訳）: 協調フィルタリングにおける埋め込みスケーリングの理解
• Authors: Yicheng He, Zhou Kaiyu, Haoyue Bai, Fengbin Zhu, Yonghui Yang,
• Abstract要約: 10のデータセットにわたる大規模な実験を、さまざまな範囲のレベルとスケールで実施しています。 二重ピークと対数という2つの新しい現象を観察する。 二重ピーク現象の根本原因について理解を深める。
• 参考スコア（独自算出の注目度）: 12.221835332469228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling recommendation models into large recommendation models has become one of the most widely discussed topics. Recent efforts focus on components beyond the scaling embedding dimension, as it is believed that scaling embedding may lead to performance degradation. Although there have been some initial observations on embedding, the root cause of their non-scalability remains unclear. Moreover, whether performance degradation occurs across different types of models and datasets is still an unexplored area. Regarding the effect of embedding dimensions on performance, we conduct large-scale experiments across 10 datasets with varying sparsity levels and scales, using 4 representative classical architectures. We surprisingly observe two novel phenomena: double-peak and logarithmic. For the former, as the embedding dimension increases, performance first improves, then declines, rises again, and eventually drops. For the latter, it exhibits a perfect logarithmic curve. Our contributions are threefold. First, we discover two novel phenomena when scaling collaborative filtering models. Second, we gain an understanding of the underlying causes of the double-peak phenomenon. Lastly, we theoretically analyze the noise robustness of collaborative filtering models, with results matching empirical observations.
• Abstract（参考訳）: 大規模なレコメンデーションモデルにレコメンデーションモデルをスケールすることは、最も広く議論されているトピックの1つになっている。 最近の取り組みは、組み込みのスケーリング以外のコンポーネントに焦点を当てている。 埋め込みに関する初期の観測はいくつかあったが、その非スケーリング性の根本原因はいまだ不明である。 さらに、異なるタイプのモデルやデータセットでパフォーマンス劣化が発生するかどうかは、まだ未調査の領域である。 組込み寸法が性能に与える影響について,4つの代表的古典的アーキテクチャを用いて,空間レベルとスケールの異なる10データセットにわたる大規模実験を行った。 二重ピークと対数という2つの新しい現象を驚くほど観察する。 前者にとって、埋め込み次元が大きくなると、まずパフォーマンスが向上し、次に低下し、再び上昇し、最終的には低下する。 後者の場合、完全な対数曲線を示す。 私たちの貢献は3倍です。 まず、協調フィルタリングモデルのスケーリングにおいて、2つの新しい現象を発見する。 第2に、二重ピーク現象の根本原因について理解を深める。 最後に,協調フィルタリングモデルのノイズロバスト性を理論的に解析し,経験的観測と一致する結果を得た。

関連論文リスト

• Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting [0.0]
  深層学習モデルの一般化能力の根底にある重要な現象の1つに「深層二重降下」がある。 本研究では, 内部構造の進化に着目して, 急激な二重降下について検討した。 結果: 二重降下期における騒音訓練データを完全に適合させた後でも, 試験データに対する強い再一般化が達成された。
  論文  参考訳（メタデータ） (2026-01-13T08:13:15Z)
• Unidentified and Confounded? Understanding Two-Tower Models for Unbiased Learning to Rank [50.9530591265324]
  良好な性能のプロダクションシステムによって収集されたクリックで2towerモデルをトレーニングすると、ランキング性能が低下する。 理論的には、2towerモデルの識別可能性条件を解析し、クリックからモデルパラメータを復元するために、文書の入れ替わりや重複する特徴分布が必要であることを示す。 また,ログポリシが2towerモデルに与える影響についても検討し,モデルがユーザの動作を完全に捉えている場合,バイアスが発生しないことを見出した。
  論文  参考訳（メタデータ） (2025-06-25T14:47:43Z)
• Towards Scalable and Deep Graph Neural Networks via Noise Masking [59.058558158296265]
  グラフニューラルネットワーク(GNN)は多くのグラフマイニングタスクで顕著に成功している。 計算とストレージのコストが高いため、大きなグラフにスケールすることは困難です。 既存のモデル単純化作業と互換性のあるプラグアンドプレイモジュールであるノイズマスキング(RMask)を用いたランダムウォークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T07:48:14Z)
• MixRec: Heterogeneous Graph Collaborative Filtering [21.96510707666373]
  そこで本稿では,MixRecを用いたグラフ協調フィルタリングモデルを提案する。 本モデルでは,意図的不整合とマルチビヘイビア・モデリングを取り入れてこれを実現している。 また、自己教師付きデータ拡張の利点を適応的に探求する、新しいコントラスト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-18T13:12:36Z)
• Unveiling Multiple Descents in Unsupervised Autoencoders [25.244065166421517]
  非線形非教師なしオートエンコーダで二重・三重降下を観測できることを初めて示す。 合成データセットと実データセットの両方に関する広範な実験を通して、モデルワイド、エポックワイド、サンプルワイドの二重降下を明らかにする。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
  このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。 いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。 第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
  論文  参考訳（メタデータ） (2024-03-15T16:51:24Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• Predicting and Enhancing the Fairness of DNNs with the Curvature of Perceptual Manifolds [44.79535333220044]
  近年の研究では、テールクラスは必ずしも学習が困難ではないことが示されており、サンプルバランスのデータセットではモデルバイアスが観察されている。 本研究ではまず,モデルフェアネスを解析するための幾何学的視点を確立し,次いで,一連の幾何学的測度を体系的に提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:49:23Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• Amortized Causal Discovery: Learning to Infer Causal Graphs from Time-Series Data [63.15776078733762]
  本稿では,時系列データから因果関係を推定する新しいフレームワークであるAmortized Causal Discoveryを提案する。 本研究では,本手法が変分モデルとして実装され,因果発見性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。