論文の概要: AdaptSSR: Pre-training User Model with Augmentation-Adaptive
Self-Supervised Ranking
- arxiv url: http://arxiv.org/abs/2310.09706v2
- Date: Tue, 24 Oct 2023 08:48:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 23:06:03.013780
- Title: AdaptSSR: Pre-training User Model with Augmentation-Adaptive
Self-Supervised Ranking
- Title（参考訳）: AdaptSSR: Augmentation-Adaptive Self-Supervised Rankingによる事前学習ユーザモデル
- Authors: Yang Yu, Qi Liu, Kai Zhang, Yuren Zhang, Chao Song, Min Hou, Yuqing
Yuan, Zhihao Ye, Zaixi Zhang, Sanshi Lei Yu
- Abstract要約: 本稿では,Augmentation-Supervised Ranking (AdaptSSR)を提案する。
我々は、暗黙的に拡張されたビュー、明示的な拡張されたビュー、および他のユーザからのビューの類似性の順序をキャプチャするために、ユーザモデルを訓練する複数のペアランキング損失を採用する。
6つの下流タスクを持つパブリックデータセットとインダストリアルデータセットの実験は、AdaptSSRの有効性を検証する。
- 参考スコア（独自算出の注目度）: 19.1857792382924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: User modeling, which aims to capture users' characteristics or interests,
heavily relies on task-specific labeled data and suffers from the data sparsity
issue. Several recent studies tackled this problem by pre-training the user
model on massive user behavior sequences with a contrastive learning task.
Generally, these methods assume different views of the same behavior sequence
constructed via data augmentation are semantically consistent, i.e., reflecting
similar characteristics or interests of the user, and thus maximizing their
agreement in the feature space. However, due to the diverse interests and heavy
noise in user behaviors, existing augmentation methods tend to lose certain
characteristics of the user or introduce noisy behaviors. Thus, forcing the
user model to directly maximize the similarity between the augmented views may
result in a negative transfer. To this end, we propose to replace the
contrastive learning task with a new pretext task: Augmentation-Adaptive
SelfSupervised Ranking (AdaptSSR), which alleviates the requirement of semantic
consistency between the augmented views while pre-training a discriminative
user model. Specifically, we adopt a multiple pairwise ranking loss which
trains the user model to capture the similarity orders between the implicitly
augmented view, the explicitly augmented view, and views from other users. We
further employ an in-batch hard negative sampling strategy to facilitate model
training. Moreover, considering the distinct impacts of data augmentation on
different behavior sequences, we design an augmentation-adaptive fusion
mechanism to automatically adjust the similarity order constraint applied to
each sample based on the estimated similarity between the augmented views.
Extensive experiments on both public and industrial datasets with six
downstream tasks verify the effectiveness of AdaptSSR.
- Abstract（参考訳）: ユーザの特性や関心を捉えることを目的としたユーザモデリングは、タスク固有のラベル付きデータに大きく依存しており、データのスパーシティの問題に苦しんでいる。
最近のいくつかの研究は、対照的な学習タスクで大量のユーザー行動シーケンスでユーザーモデルを事前学習することでこの問題に取り組みました。
一般に、これらの手法は、データ拡張によって構築された同一の行動列の異なるビューを意味的に一貫した、すなわち、ユーザの類似した特性や興味を反映し、特徴空間におけるそれらの合意を最大化する。
しかし,ユーザ行動の多様さや騒音のため,既存の拡張手法はユーザの特徴を損なったり,ノイズを生じさせる傾向がある。
したがって、ユーザモデルに拡張ビュー間の類似性を直接最大化させると、負の転送が発生する可能性がある。
そこで本研究では,ユーザモデルを事前学習しながら,拡張ビュー間の意味的一貫性の要件を緩和する,拡張適応型自己教師付きランキング (adaptssr) という新しいpretextタスクでコントラスト学習タスクを置き換えることを提案する。
具体的には,ユーザモデルをトレーニングして,暗黙的に拡張されたビューと明示的な拡張されたビュー,他のユーザからのビューの類似性をキャプチャする,複数対のランキング損失を採用する。
さらに,モデルトレーニングを容易にするために,バッチ内ハードネガティブサンプリング戦略も採用した。
さらに,異なる行動系列に対するデータ拡張の影響を別々に考慮し,拡張ビュー間の推定類似度に基づいて,各サンプルに適用される類似度順序制約を自動的に調整する拡張適応融合機構を設計する。
6つの下流タスクを持つパブリックデータセットと産業データセットの大規模な実験は、AdaptSSRの有効性を検証する。
関連論文リスト
- Personalized Behavior-Aware Transformer for Multi-Behavior Sequential
Recommendation [25.400756652696895]
マルチビヘイビアシーケンスレコメンデーション(MBSR)問題に対するパーソナライズされた行動認識変換フレームワーク(PBAT)を提案する。
PBATは表現層にパーソナライズされた振舞いパターン生成器を開発し,逐次学習のための動的・識別的な振舞いパターンを抽出する。
3つのベンチマークデータセットで実験を行い、その結果、フレームワークの有効性と解釈性を示した。
論文 参考訳（メタデータ） (2024-02-22T12:03:21Z) - Topology-aware Debiased Self-supervised Graph Learning for
Recommendation [6.893289671937124]
本稿では,TDGL(Topology-aware De Self-supervised Graph Learning)を提案する。
TDSGLはユーザ間の意味的類似性(items)に応じてコントラッシブなペアを構成する
その結果,提案モデルが3つの公開データセット上で,最先端モデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2023-10-24T14:16:19Z) - AlignDiff: Aligning Diverse Human Preferences via Behavior-Customisable
Diffusion Model [69.12623428463573]
AlignDiffは、人間の好みを定量化し、抽象性をカバーし、拡散計画をガイドする新しいフレームワークである。
ユーザがカスタマイズした動作と正確に一致し、効率的に切り替えることができます。
選好マッチング,スイッチング,カバーにおいて,他のベースラインに比べて優れた性能を示す。
論文 参考訳（メタデータ） (2023-10-03T13:53:08Z) - Ad-Rec: Advanced Feature Interactions to Address Covariate-Shifts in
Recommendation Networks [2.016365643222463]
データ分散のドリフトを処理し、ユーザの振る舞いの変化に適応するためには、クロスフィーチャー学習が不可欠だ。
この研究は、共変量シフトに対処する機能インタラクション技術を活用するネットワークであるAd-Recを導入している。
提案手法は,AUC(Area Under Curve)測定値により,モデル品質の向上,収束の促進,トレーニング時間短縮を実現する。
論文 参考訳（メタデータ） (2023-08-28T21:08:06Z) - Intent Contrastive Learning for Sequential Recommendation [86.54439927038968]
ユーザの意図を表現するために潜伏変数を導入し,クラスタリングにより潜伏変数の分布関数を学習する。
我々は,学習意図を対照的なSSLによってSRモデルに活用し,シーケンスのビューとそれに対応するインテントとの一致を最大化することを提案する。
4つの実世界のデータセットで実施された実験は、提案した学習パラダイムの優位性を示している。
論文 参考訳（メタデータ） (2022-02-05T09:24:13Z) - TEA: A Sequential Recommendation Framework via Temporally Evolving
Aggregations [12.626079984394766]
動的ユーザ・イテム不均質グラフに基づく新しいシーケンシャル・レコメンデーション・フレームワークを提案する。
条件付き乱数場を利用して不均一なグラフとユーザ動作を集約し,確率推定を行う。
提案したフレームワークのスケーラブルで柔軟な実装を提供しています。
論文 参考訳（メタデータ） (2021-11-14T15:54:23Z) - Contrastive Self-supervised Sequential Recommendation with Robust
Augmentation [101.25762166231904]
Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。
データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。
逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
論文 参考訳（メタデータ） (2021-08-14T07:15:25Z) - Sequence Adaptation via Reinforcement Learning in Recommender Systems [8.909115457491522]
そこで我々は,SARモデルを提案する。SARモデルは,ユーザとイテムの相互作用のシーケンス長をパーソナライズされた方法で調整する。
さらに,逐次レコメンデーションの精度を批評家ネットワークの予測累積報酬と整合させるために,共同損失関数を最適化する。
実世界の4つのデータセットに対する実験的な評価は,提案モデルがいくつかのベースラインアプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-31T13:56:46Z) - Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。
また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。
実験の結果,提案手法は従来の手法よりも有効であることがわかった。
論文 参考訳（メタデータ） (2021-07-08T13:10:42Z) - Learning Transferrable Parameters for Long-tailed Sequential User
Behavior Modeling [70.64257515361972]
テールユーザに注力することで、より多くのメリットをもたらし、長いテールの問題に対処できる、と私たちは主張しています。
具体的には、頭部から尾部への知識伝達を容易にするために、勾配アライメントを提案し、敵のトレーニングスキームを採用する。
論文 参考訳（メタデータ） (2020-10-22T03:12:02Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。