論文の概要: Self-supervised Learning for Large-scale Item Recommendations
- arxiv url: http://arxiv.org/abs/2007.12865v4
- Date: Thu, 25 Feb 2021 02:50:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 00:52:00.940660
- Title: Self-supervised Learning for Large-scale Item Recommendations
- Title(参考訳): 大規模項目推薦のための自己指導型学習
- Authors: Tiansheng Yao, Xinyang Yi, Derek Zhiyuan Cheng, Felix Yu, Ting Chen,
Aditya Menon, Lichan Hong, Ed H. Chi, Steve Tjoa, Jieqi Kang, Evan Ettinger
- Abstract要約: 大規模なレコメンデータモデルは、巨大なカタログから最も関連性の高いアイテムを見つけ出す。
コーパスには何百万から数十億ものアイテムがあり、ユーザーはごく少数のユーザーに対してフィードバックを提供する傾向にある。
大規模項目推薦のためのマルチタスク自己教師型学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 18.19202958502061
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large scale recommender models find most relevant items from huge catalogs,
and they play a critical role in modern search and recommendation systems. To
model the input space with large-vocab categorical features, a typical
recommender model learns a joint embedding space through neural networks for
both queries and items from user feedback data. However, with millions to
billions of items in the corpus, users tend to provide feedback for a very
small set of them, causing a power-law distribution. This makes the feedback
data for long-tail items extremely sparse.
Inspired by the recent success in self-supervised representation learning
research in both computer vision and natural language understanding, we propose
a multi-task self-supervised learning (SSL) framework for large-scale item
recommendations. The framework is designed to tackle the label sparsity problem
by learning better latent relationship of item features. Specifically, SSL
improves item representation learning as well as serving as additional
regularization to improve generalization. Furthermore, we propose a novel data
augmentation method that utilizes feature correlations within the proposed
framework.
We evaluate our framework using two real-world datasets with 500M and 1B
training examples respectively. Our results demonstrate the effectiveness of
SSL regularization and show its superior performance over the state-of-the-art
regularization techniques. We also have already launched the proposed
techniques to a web-scale commercial app-to-app recommendation system, with
significant improvements top-tier business metrics demonstrated in A/B
experiments on live traffic. Our online results also verify our hypothesis that
our framework indeed improves model performance even more on slices that lack
supervision.
- Abstract(参考訳): 大規模レコメンデータモデルは、巨大なカタログから最も関連性の高い項目を見つけ、現代の検索およびレコメンデーションシステムにおいて重要な役割を果たす。
入力空間を大きなボキャブカテゴリの特徴でモデル化するために、典型的なレコメンデータモデルは、ユーザフィードバックデータからクエリとアイテムの両方のニューラルネットワークを介して、共同埋め込み空間を学習する。
しかし、コーパスに数百万から数十億ものアイテムがあるため、ユーザはごくわずかなセットに対してフィードバックを提供する傾向があり、パワーロー分布を引き起こします。
これにより、ロングテールアイテムのフィードバックデータが極めて少ない。
近年,コンピュータビジョンと自然言語理解における自己教師型表現学習研究の成功に触発されて,大規模項目推薦のためのマルチタスク型自己教師型学習(SSL)フレームワークを提案する。
このフレームワークは、アイテムの特徴の潜伏関係をより良く学習することで、ラベルの疎結合問題に取り組むように設計されている。
具体的には、SSLはアイテム表現学習を改善し、一般化を改善するためにさらなる正規化を提供する。
さらに,提案フレームワークにおける特徴相関を利用した新しいデータ拡張手法を提案する。
我々は,500Mと1Bのトレーニング例を実世界の2つのデータセットで評価した。
その結果,SSL正則化の有効性を示し,最先端の正則化技術よりも優れた性能を示した。
我々はまた、Webスケールの商用アプリ・ツー・アプリレコメンデーションシステムに提案手法をすでに導入しており、ライブトラフィックのA/B実験で実証されたトップレベルのビジネス指標を大幅に改善しています。
オンラインの結果も,監視の欠如したスライスに対して,私たちのフレームワークがモデルパフォーマンスをさらに向上させるという仮説を検証しています。
関連論文リスト
- Self-Supervised Representation Learning with Meta Comprehensive
Regularization [11.387994024747842]
既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。
提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。
本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
論文 参考訳(メタデータ) (2024-03-03T15:53:48Z) - Breaking the Barrier: Utilizing Large Language Models for Industrial
Recommendation Systems through an Inferential Knowledge Graph [19.201697767418597]
大規模言語モデルに基づく補完的知識強化推薦システム(LLM-KERec)を提案する。
アイテムとユーザ情報から統一された概念用語を抽出し、ユーザ意図の遷移をキャプチャし、新しいアイテムに適応する。
3つの業界データセットで実施された大規模な実験は、既存のアプローチと比較して、我々のモデルの大幅な性能向上を実証している。
論文 参考訳(メタデータ) (2024-02-21T12:22:01Z) - Learning Semantic Proxies from Visual Prompts for Parameter-Efficient
Fine-Tuning in Deep Metric Learning [15.254782791542329]
既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。
我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。
セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-02-04T04:42:05Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - A Survey on Large Language Models for Recommendation [80.01023231943205]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。
本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文 参考訳(メタデータ) (2023-05-31T13:51:26Z) - WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation
Models [24.455665093145818]
我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。
WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
論文 参考訳(メタデータ) (2022-02-28T08:55:12Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳(メタデータ) (2021-06-10T17:59:13Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。