論文の概要: Scalable Cross-Entropy Loss for Sequential Recommendations with Large Item Catalogs
- arxiv url: http://arxiv.org/abs/2409.18721v1
- Date: Fri, 27 Sep 2024 13:17:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-01 15:09:41.737780
- Title: Scalable Cross-Entropy Loss for Sequential Recommendations with Large Item Catalogs
- Title(参考訳): 大規模項目カタログを用いたシーケンスレコメンデーションのためのスケーラブルなクロスエントロピー損失
- Authors: Gleb Mezentsev, Danil Gusak, Ivan Oseledets, Evgeny Frolov,
- Abstract要約: 本稿では,シーケンシャルラーニング・セットアップにおいて,新しいスケーラブルクロスエントロピー(SCE)損失関数を提案する。
大規模なカタログを持つデータセットのCE損失を近似し、推奨品質を損なうことなく、時間効率とメモリ使用量の両方を向上する。
複数のデータセットに対する実験結果から,SCEのピークメモリ使用率を最大100倍に抑える効果が示された。
- 参考スコア(独自算出の注目度): 4.165917157093442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scalability issue plays a crucial role in productionizing modern recommender systems. Even lightweight architectures may suffer from high computational overload due to intermediate calculations, limiting their practicality in real-world applications. Specifically, applying full Cross-Entropy (CE) loss often yields state-of-the-art performance in terms of recommendations quality. Still, it suffers from excessive GPU memory utilization when dealing with large item catalogs. This paper introduces a novel Scalable Cross-Entropy (SCE) loss function in the sequential learning setup. It approximates the CE loss for datasets with large-size catalogs, enhancing both time efficiency and memory usage without compromising recommendations quality. Unlike traditional negative sampling methods, our approach utilizes a selective GPU-efficient computation strategy, focusing on the most informative elements of the catalog, particularly those most likely to be false positives. This is achieved by approximating the softmax distribution over a subset of the model outputs through the maximum inner product search. Experimental results on multiple datasets demonstrate the effectiveness of SCE in reducing peak memory usage by a factor of up to 100 compared to the alternatives, retaining or even exceeding their metrics values. The proposed approach also opens new perspectives for large-scale developments in different domains, such as large language models.
- Abstract(参考訳): スケーラビリティの問題は、現代のレコメンデータシステムを生産する上で重要な役割を担います。
軽量アーキテクチャでさえ、中間計算による高い計算過負荷に悩まされ、現実のアプリケーションでは実用性が制限される。
具体的には、完全なクロスエントロピー(CE)損失を適用すると、推奨品質の面で最先端のパフォーマンスが得られることが多い。
それでも、大きなアイテムカタログを扱う場合、GPUメモリの過剰使用に悩まされる。
本稿では,シーケンシャルラーニング・セットアップにおいて,新しいスケーラブルクロスエントロピー(SCE)損失関数を提案する。
大規模なカタログを持つデータセットのCE損失を近似し、推奨品質を損なうことなく、時間効率とメモリ使用量の両方を向上する。
従来のネガティブサンプリング手法とは異なり,本手法では選択的なGPU効率計算手法を用いて,特に偽陽性である可能性が最も高いカタログの最も情報性の高い要素に着目した。
これは、モデルのサブセット上でのソフトマックス分布を最大内部積探索によって近似することで達成される。
複数のデータセットに対する実験結果から、SCEのピークメモリ使用率を最大100倍に削減し、メトリクス値を維持したり、あるいは超えたりすることで、SCEの有効性を示す。
提案手法はまた,大規模言語モデルなど,さまざまな領域における大規模開発に対する新たな視点を開放する。
関連論文リスト
- Zooming Out on Zooming In: Advancing Super-Resolution for Remote Sensing [31.409817016287704]
リモートセンシングのための超解像は、惑星の監視に大きな影響を与える可能性がある。
多くの注意を払っているにもかかわらず、いくつかの矛盾や課題により、実際にデプロイされるのを妨げている。
この研究は、従来の測定値よりも人間の判断にはるかによく対応している、超高解像度のCLIPScoreのための新しい測定基準を示す。
論文 参考訳(メタデータ) (2023-11-29T21:06:45Z) - ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language
Models [70.45441031021291]
LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。
LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。
本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
論文 参考訳(メタデータ) (2023-10-04T17:34:00Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of
Language Model [92.55145016562867]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-05-24T15:52:08Z) - Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。
PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。
具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
論文 参考訳(メタデータ) (2023-03-21T15:34:50Z) - Efficient and Scalable Recommendation via Item-Item Graph Partitioning [10.390315462253726]
協調フィルタリング(CF)はレコメンダシステムにおいて広く研究されている問題である。
アイテム-イットグラフ分割(ERGP)による効率的かつスケーラブルなレコメンデーションを提案する。
論文 参考訳(メタデータ) (2022-07-13T04:37:48Z) - DCT-Former: Efficient Self-Attention with Discrete Cosine Transform [4.622165486890318]
トラスフォルマーアーキテクチャの本質的な制限は、ドット積の注意の計算から生じる。
我々のアイデアは、アテンションモジュールの近似を導き出すために、損失の多いデータ圧縮(JPEGアルゴリズムなど)の世界からインスピレーションを得ている。
実験の広範なセクションでは,提案手法が同一性能のメモリを消費しにくくする一方で,推定時間を大幅に削減することを示した。
論文 参考訳(メタデータ) (2022-03-02T15:25:27Z) - Adversarial Feature Augmentation and Normalization for Visual
Recognition [109.6834687220478]
最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。
本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。
代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
論文 参考訳(メタデータ) (2021-03-22T20:36:34Z) - A Generic Network Compression Framework for Sequential Recommender
Systems [71.81962915192022]
シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。
CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。
大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
論文 参考訳(メタデータ) (2020-04-21T08:40:55Z) - On the Trend-corrected Variant of Adaptive Stochastic Optimization
Methods [30.084554989542475]
本稿では,適応的なステップサイズと勾配でパラメータを更新する際のトレンド情報を備えたAdam型手法の新しいフレームワークを提案する。
我々は,従来のAdamおよびAMSGradメソッドを,複数の実世界のデータセットを持つ古典的モデル上で常に上回る,トレンドコンポーネントを追加することの重要性を実証的に示す。
論文 参考訳(メタデータ) (2020-01-17T01:23:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。