論文の概要: Understanding and Scaling Collaborative Filtering Optimization from the Perspective of Matrix Rank

• arxiv url: http://arxiv.org/abs/2410.23300v2
• Date: Sun, 03 Nov 2024 22:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:25:58.352923
• Title: Understanding and Scaling Collaborative Filtering Optimization from the Perspective of Matrix Rank
• Title（参考訳）: 行列ランクの観点からの協調フィルタリング最適化の理解とスケーリング
• Authors: Donald Loveland, Xinyi Wu, Tong Zhao, Danai Koutra, Neil Shah, Mingxuan Ju,
• Abstract要約: 協調フィルタリング(CF)手法は現実世界のレコメンデーションシステムを支配している。 本研究では,異なる学習戦略下での埋め込みテーブルの特性について検討する。 ユーザの安定なランクとアイテムの埋め込みを規則化する,効率的なウォームスタート戦略を提案する。
• 参考スコア（独自算出の注目度）: 48.02330727538905
• License:
• Abstract: Collaborative Filtering (CF) methods dominate real-world recommender systems given their ability to learn high-quality, sparse ID-embedding tables that effectively capture user preferences. These tables scale linearly with the number of users and items, and are trained to ensure high similarity between embeddings of interacted user-item pairs, while maintaining low similarity for non-interacted pairs. Despite their high performance, encouraging dispersion for non-interacted pairs necessitates expensive regularization (e.g., negative sampling), hurting runtime and scalability. Existing research tends to address these challenges by simplifying the learning process, either by reducing model complexity or sampling data, trading performance for runtime. In this work, we move beyond model-level modifications and study the properties of the embedding tables under different learning strategies. Through theoretical analysis, we find that the singular values of the embedding tables are intrinsically linked to different CF loss functions. These findings are empirically validated on real-world datasets, demonstrating the practical benefits of higher stable rank, a continuous version of matrix rank which encodes the distribution of singular values. Based on these insights, we propose an efficient warm-start strategy that regularizes the stable rank of the user and item embeddings. We show that stable rank regularization during early training phases can promote higher-quality embeddings, resulting in training speed improvements of up to 66%. Additionally, stable rank regularization can act as a proxy for negative sampling, allowing for performance gains of up to 21% over loss functions with small negative sampling ratios. Overall, our analysis unifies current CF methods under a new perspective, their optimization of stable rank, motivating a flexible regularization method.
• Abstract（参考訳）: 高品質でスパースなID埋め込みテーブルを学習し、ユーザの好みを効果的に捉えるため、CF(Collaborative Filtering)メソッドが現実世界のレコメンデーションシステムを支配している。 これらのテーブルはユーザ数や項目数と直線的にスケールし,対話型ユーザ-イテムペアの埋め込みと,非対話型ペアの類似度を低く保ちながら,高い類似性を確保するために訓練される。 高いパフォーマンスにもかかわらず、非相互作用ペアの分散を促進するには、高価な正規化(負のサンプリングなど)が必要であり、ランタイムとスケーラビリティを損なう。 既存の研究は、モデルの複雑さを減らしたり、データをサンプリングしたり、実行時のパフォーマンスをトレーディングすることで、学習プロセスを単純化することでこれらの課題に対処する傾向にある。 本研究では,モデルレベルの修正を超えて,異なる学習戦略の下での埋め込みテーブルの特性について検討する。 理論的解析により、埋め込みテーブルの特異値は、本質的に異なるCF損失関数に結びついていることが分かる。 これらの結果は実世界のデータセット上で実証的に検証され、特異値の分布を符号化した行列ランクの連続バージョンである高い安定ランクの実用的メリットを示す。 これらの知見に基づき、ユーザの安定したランクとアイテムの埋め込みを規則化する効率的なウォームスタート戦略を提案する。 初期訓練段階における安定なランク正規化は,高品質な埋め込みを促進することが示され,トレーニング速度は最大66%向上した。 さらに、安定なランク正規化は、負サンプリングのプロキシとして機能し、小さな負サンプリング比を持つ損失関数よりも最大21%の性能向上を可能にする。 全体として、我々は現在のCF手法を新しい視点で統一し、安定なランクの最適化を行い、フレキシブルな正規化法を動機付けている。

関連論文リスト

• Tailed Low-Rank Matrix Factorization for Similarity Matrix Completion [14.542166904874147]
  similarity Completion Matrixは多くの機械学習タスクの中核にある基本的なツールとして機能する。 この問題に対処するために、類似行列理論(SMC)法が提案されているが、それらは複雑である。 提案手法は,PSD特性を解析して推定プロセスを導出し,低ランク解を保証するために非低ランク正規化器を組み込む2つの新しい,スケーラブルで効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T04:27:23Z)
• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。 本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。 提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Adversarial Collaborative Filtering for Free [27.949683060138064]
  CF(Collaborative Filtering)は、ユーザが関心のある項目を見つけるのに役立つ。 既存の方法はノイズの多いデータ問題に悩まされ、推奨の質に悪影響を及ぼす。 本稿では, 計算コストを犠牲にすることなく, 対向学習を行う簡易かつ効果的な手法として, シャープネス対応協調フィルタリング(CF)を提案する。
  論文  参考訳（メタデータ） (2023-08-20T19:25:38Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Rank-Based Multi-task Learning for Fair Regression [9.95899391250129]
  バイアス付きデータセットに基づくマルチタスク回帰モデルのための新しい学習手法を開発した。 一般的な非パラメトリックオラクルベースの非ワールド乗算器データセットを使用します。
  論文  参考訳（メタデータ） (2020-09-23T22:32:57Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。