論文の概要: Balancing Embedding Spectrum for Recommendation
- arxiv url: http://arxiv.org/abs/2406.12032v1
- Date: Mon, 17 Jun 2024 18:59:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 21:41:07.649980
- Title: Balancing Embedding Spectrum for Recommendation
- Title（参考訳）: レコメンデーションのための埋め込みスペクトルのバランシング
- Authors: Shaowen Peng, Kazunari Sugiyama, Xin Liu, Tsunenori Mine,
- Abstract要約: 表現は埋め込み空間全体の部分空間にまたがる傾向を示し、最適解が得られ、モデルの容量が減少することを示した。
トレーニング中の埋め込みのスペクトル分布のバランスをとるために,DirectSpecと呼ばれる新しい手法を提案する。
また,無関係なサンプルをより効率的に最適化するために,自己ペース勾配を用いた拡張型DirectSpec+を提案する。
- 参考スコア（独自算出の注目度）: 7.523823738965443
- License:
- Abstract: Modern recommender systems heavily rely on high-quality representations learned from high-dimensional sparse data. While significant efforts have been invested in designing powerful algorithms for extracting user preferences, the factors contributing to good representations have remained relatively unexplored. In this work, we shed light on an issue in the existing pair-wise learning paradigm (i.e., the embedding collapse problem), that the representations tend to span a subspace of the whole embedding space, leading to a suboptimal solution and reducing the model capacity. Specifically, optimization on observed interactions is equivalent to a low pass filter causing users/items to have the same representations and resulting in a complete collapse. While negative sampling acts as a high pass filter to alleviate the collapse by balancing the embedding spectrum, its effectiveness is only limited to certain losses, which still leads to an incomplete collapse. To tackle this issue, we propose a novel method called DirectSpec, acting as a reliable all pass filter to balance the spectrum distribution of the embeddings during training, ensuring that users/items effectively span the entire embedding space. Additionally, we provide a thorough analysis of DirectSpec from a decorrelation perspective and propose an enhanced variant, DirectSpec+, which employs self-paced gradients to optimize irrelevant samples more effectively. Moreover, we establish a close connection between DirectSpec+ and uniformity, demonstrating that contrastive learning (CL) can alleviate the collapse issue by indirectly balancing the spectrum. Finally, we implement DirectSpec and DirectSpec+ on two popular recommender models: MF and LightGCN. Our experimental results demonstrate its effectiveness and efficiency over competitive baselines.
- Abstract（参考訳）: 現代のレコメンダシステムは、高次元スパースデータから学んだ高品質な表現に大きく依存している。
ユーザの好みを抽出する強力なアルゴリズムの設計に多大な努力が注がれているが、良い表現に寄与する要因はいまだに解明されていない。
本研究では,既存のペアワイズ学習パラダイム(組込み崩壊問題)の問題点を浮き彫りにして,表現が埋め込み空間全体の部分空間にまたがる傾向にあり,最適解が得られ,モデルのキャパシティが低下することを示した。
具体的には、観測された相互作用の最適化は、ユーザ/イテムが同じ表現を持ち、完全に崩壊する原因となるローパスフィルタと等価である。
負のサンプリングは、埋め込みスペクトルのバランスをとることで崩壊を緩和するハイパスフィルタとして機能するが、その効果は特定の損失に限られており、それでも不完全な崩壊につながる。
この問題に対処するために,DirectSpecと呼ばれる新しい手法を提案する。この手法は,トレーニング中の埋め込みのスペクトル分布のバランスをとるために,信頼性の高い全パスフィルタとして機能し,ユーザ/イテムが埋め込み空間全体にわたって効果的に分散することを保証する。
さらに、デコレーションの観点からDirectSpecを徹底的に分析し、無関係なサンプルをより効果的に最適化するために自己ペースト勾配を利用する拡張型DirectSpec+を提案する。
さらに、DirectSpec+と均一性との密接な関係を確立し、スペクトルを間接的にバランスさせることで、コントラスト学習(CL)が崩壊問題を緩和できることを実証した。
最後に、MFとLightGCNという2つの人気のある推奨モデルにDirectSpecとDirectSpec+を実装します。
本実験は, 競争基準値に対する有効性と効率性を示すものである。
関連論文リスト
- Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。
そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
論文 参考訳（メタデータ） (2024-10-10T16:01:51Z) - Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。
その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
論文 参考訳（メタデータ） (2024-09-26T12:37:26Z) - Prototypical Contrastive Learning through Alignment and Uniformity for
Recommendation [6.790779112538357]
提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。
具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。
明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
論文 参考訳（メタデータ） (2024-02-03T08:19:26Z) - Modulate Your Spectrum in Self-Supervised Learning [65.963806450552]
ホワイトニング損失は、自己教師付き学習における特徴の崩壊に対する理論的保証を提供する。
埋め込みのスペクトルを変調するフレームワークであるスペクトル変換(ST)を導入する。
我々は、トレースロス(INTL)を持つIterNormという新しいSTインスタンスを提案する。
論文 参考訳（メタデータ） (2023-05-26T09:59:48Z) - Fine-grained Retrieval Prompt Tuning [149.9071858259279]
微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。
学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-29T04:10:04Z) - Where is the Grass Greener? Revisiting Generalized Policy Iteration for
Offline Reinforcement Learning [81.15016852963676]
オフラインRL体制における最先端のベースラインを、公正で統一的で高分解能なフレームワークの下で再実装する。
与えられたベースラインが、スペクトルの一方の端で競合する相手よりも優れている場合、他方の端では決してしないことを示す。
論文 参考訳（メタデータ） (2021-07-03T11:00:56Z) - LSDAT: Low-Rank and Sparse Decomposition for Decision-based Adversarial
Attack [74.5144793386864]
LSDATは、入力サンプルのスパース成分と対向サンプルのスパース成分によって形成される低次元部分空間における摂動を加工する。
LSDは画像ピクセル領域で直接動作し、スパース性などの非$ell$制約が満たされることを保証します。
論文 参考訳（メタデータ） (2021-03-19T13:10:47Z) - Adversarial Filters of Dataset Biases [96.090959788952]
大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。
それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。
このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
論文 参考訳（メタデータ） (2020-02-10T21:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。