論文の概要: Improving Contrastive Learning with Model Augmentation

• arxiv url: http://arxiv.org/abs/2203.15508v1
• Date: Fri, 25 Mar 2022 06:12:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-03 07:12:06.799124
• Title: Improving Contrastive Learning with Model Augmentation
• Title（参考訳）: モデル拡張によるコントラスト学習の改善
• Authors: Zhiwei Liu, Yongjun Chen, Jia Li, Man Luo, Philip S. Yu, Caiming Xiong
• Abstract要約: このシーケンシャルレコメンデーションは,ユーザ行動における次の項目を予測することを目的としている。 シーケンスにおけるデータの分散性やノイズの問題から,新たな自己教師付き学習(SSL)パラダイムが提案され,性能が向上した。
• 参考スコア（独自算出の注目度）: 123.05700988581806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The sequential recommendation aims at predicting the next items in user behaviors, which can be solved by characterizing item relationships in sequences. Due to the data sparsity and noise issues in sequences, a new self-supervised learning (SSL) paradigm is proposed to improve the performance, which employs contrastive learning between positive and negative views of sequences. However, existing methods all construct views by adopting augmentation from data perspectives, while we argue that 1) optimal data augmentation methods are hard to devise, 2) data augmentation methods destroy sequential correlations, and 3) data augmentation fails to incorporate comprehensive self-supervised signals. Therefore, we investigate the possibility of model augmentation to construct view pairs. We propose three levels of model augmentation methods: neuron masking, layer dropping, and encoder complementing. This work opens up a novel direction in constructing views for contrastive SSL. Experiments verify the efficacy of model augmentation for the SSL in the sequential recommendation. Code is available\footnote{\url{https://github.com/salesforce/SRMA}}.
• Abstract（参考訳）: 逐次的レコメンデーションは,ユーザの行動における次の項目を予測することを目的としている。 シーケンスにおけるデータの分散性やノイズの問題から,新たな自己教師付き学習(SSL)パラダイムが提案され,シーケンスの肯定的視点と否定的視点の対比学習が採用されている。 しかし,既存の手法では,データ視点による拡張を取り入れてビューを構築する。 1)最適なデータ拡張手法の考案は困難である。 2)データ強化手法は逐次相関を壊し、 3)データ拡張では、包括的な自己管理信号が組み込まれない。 そこで,ビューペア構築のためのモデル拡張の可能性を検討する。 本稿では,ニューロンマスキング,レイヤドロップ,エンコーダ補完の3段階のモデル拡張法を提案する。 この作業は、対照的なSSLのビューを構築するための新しい方向性を開く。 実験では、逐次レコメンデーションにおいてSSLのモデル拡張の有効性を検証する。 コードは、footnote{\url{https://github.com/salesforce/SRMA}}で入手できる。

関連論文リスト

• Diffusion-based Contrastive Learning for Sequential Recommendation [6.3482831836623355]
  本稿では,CaDiRecという,文脈対応拡散に基づく逐次推薦のためのコントラスト学習を提案する。 CaDiRecは、コンテキスト対応拡散モデルを使用して、シーケンス内の所定の位置に対する代替アイテムを生成する。 フレームワーク全体をエンドツーエンドでトレーニングし、拡散モデルとレコメンデーションモデルの間でアイテムの埋め込みを共有します。
  論文  参考訳（メタデータ） (2024-05-15T14:20:37Z)
• Graph Masked Autoencoder for Sequential Recommendation [10.319298705782058]
  本稿では,自動エンコーダ付きシーケンシャルレコメンダシステム(MAERec, Graph Masked AutoEncoder-enhanced Sequence Recommender System)を提案する。 提案手法は最先端のベースラインモデルを大幅に上回り,データノイズや空間性に対するより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2023-05-08T10:57:56Z)
• GUESR: A Global Unsupervised Data-Enhancement with Bucket-Cluster Sampling for Sequential Recommendation [58.6450834556133]
  本研究では,グローバルな視点から複雑な関連性を持つ項目表現を強化するために,グラフコントラスト学習を提案する。 本稿では,CapsNetモジュールを拡張したターゲットアテンション機構により,ユーザの動的嗜好を導出する。 提案したGUESRは,大幅な改善を達成できただけでなく,汎用的な拡張戦略ともみなすことができた。
  論文  参考訳（メタデータ） (2023-03-01T05:46:36Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• ContrastVAE: Contrastive Variational AutoEncoder for Sequential Recommendation [58.02630582309427]
  本稿では,コントラスト学習を変分オートエンコーダの枠組みに組み込むことを提案する。 ContrastELBOは,従来のシングルビューELBOを2ビューケースに拡張した,新しいトレーニング目標である。 また、コントラストELBOの具体化として、コントラスト正規化を備えた2分岐VAEモデルであるContrastVAEを提案する。
  論文  参考訳（メタデータ） (2022-08-27T03:35:00Z)
• Learnable Model Augmentation Self-Supervised Learning for Sequential Recommendation [36.81597777126902]
  シーケンシャルレコメンデーションのための学習可能なモデル拡張型自己教師型学習(LMA4Rec)を提案する。 LMA4Recはまず、ビューを生成するためにデータ拡張の補足方法としてモデル拡張を利用する。 次に、コントラストビュー間で自己教師付き学習を使用して、オリジナルのシーケンスから自己教師付き信号を抽出する。
  論文  参考訳（メタデータ） (2022-04-21T14:30:56Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。