Fugu-MT 論文翻訳(概要): Enhancing User Sequence Modeling through Barlow Twins-based Self-Supervised Learning

論文の概要: Enhancing User Sequence Modeling through Barlow Twins-based Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2505.00953v1
Date: Fri, 02 May 2025 02:04:52 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-05 17:21:19.883311
Title: Enhancing User Sequence Modeling through Barlow Twins-based Self-Supervised Learning
Title（参考訳）: Barlow Twins-based Self-Supervised Learning によるユーザシーケンスモデリングの強化
Authors: Yuhan Liu, Lin Ning, Neo Wu, Karan Singhal, Philip Andrew Mansfield, Devora Berlowitz, Sushant Prakash, Bradley Green,
Abstract要約: 本稿では,最先端のSSL手法であるBarlow Twinsを,適切な拡張手法を取り入れたユーザシーケンスモデリングに適用することを提案する。提案手法は,大規模な負のサンプルバッチの必要性を軽減し,より小さなバッチサイズと限られたラベル付きデータによる効果的な表現学習を実現することを目的としている。
参考スコア（独自算出の注目度）: 17.299357794051797
License: http://creativecommons.org/licenses/by/4.0/
Abstract: User sequence modeling is crucial for modern large-scale recommendation systems, as it enables the extraction of informative representations of users and items from their historical interactions. These user representations are widely used for a variety of downstream tasks to enhance users' online experience. A key challenge for learning these representations is the lack of labeled training data. While self-supervised learning (SSL) methods have emerged as a promising solution for learning representations from unlabeled data, many existing approaches rely on extensive negative sampling, which can be computationally expensive and may not always be feasible in real-world scenario. In this work, we propose an adaptation of Barlow Twins, a state-of-the-art SSL methods, to user sequence modeling by incorporating suitable augmentation methods. Our approach aims to mitigate the need for large negative sample batches, enabling effective representation learning with smaller batch sizes and limited labeled data. We evaluate our method on the MovieLens-1M, MovieLens-20M, and Yelp datasets, demonstrating that our method consistently outperforms the widely-used dual encoder model across three downstream tasks, achieving an 8%-20% improvement in accuracy. Our findings underscore the effectiveness of our approach in extracting valuable sequence-level information for user modeling, particularly in scenarios where labeled data is scarce and negative examples are limited.
Abstract（参考訳）: ユーザ・シークエンス・モデリングは、ユーザ・アイテムの歴史的相互作用から情報表現を抽出できるため、現代の大規模レコメンデーションシステムにとって不可欠である。これらのユーザ表現は、ユーザのオンラインエクスペリエンスを高めるために、さまざまなダウンストリームタスクに広く使用されている。これらの表現を学ぶ上で重要な課題は、ラベル付きトレーニングデータの欠如である。自己教師付き学習(SSL)手法は、ラベルのないデータから表現を学習するための有望なソリューションとして登場したが、既存の多くのアプローチは、計算コストが高く、現実のシナリオでは必ずしも実現できないような、広範なネガティブサンプリングに依存している。本研究では,現在最先端のSSL手法であるBarlow Twinsを,適切な拡張手法を取り入れたユーザシーケンスモデリングに適用することを提案する。提案手法は,大規模な負のサンプルバッチの必要性を軽減し,より小さなバッチサイズと限られたラベル付きデータによる効果的な表現学習を実現することを目的としている。提案手法はMovieLens-1M, MovieLens-20M, Yelpのデータセットで評価し, 3つの下流タスクにまたがる広範に使用されているデュアルエンコーダモデルより一貫して優れており,精度は8%～20%向上していることを示した。特にラベル付きデータが不足し,ネガティブな例が限られている場合において,ユーザモデリングに有用なシーケンスレベルの情報を抽出する手法の有効性について検討した。

関連論文リスト

Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-11-12T18:57:59Z)
Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
Generalized User Representations for Transfer Learning [6.953653891411339]
本稿では,大規模レコメンデーションシステムにおけるユーザ表現のための新しいフレームワークを提案する。提案手法は,表現学習と伝達学習を組み合わせた2段階の手法を用いる。提案するフレームワークは,代替手法と比較して,インフラコストを大幅に削減できることを示す。
論文参考訳（メタデータ） (2024-03-01T15:05:21Z)
One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-12-16T03:33:12Z)
ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-16T21:51:04Z)
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文参考訳（メタデータ） (2022-03-18T16:50:38Z)
A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文参考訳（メタデータ） (2022-02-08T19:18:49Z)
Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain, Active and Continual Few-Shot Learning [41.07029317930986]
低ラベル方式で動作するモデルの分散感応クラスを提案する。最初の手法であるSimple CNAPSは階層的に正規化されたマハラノビス距離に基づく分類器を用いる。我々はさらに、このアプローチをトランスダクティブ学習環境に拡張し、トランスダクティブCNAPSを提案する。
論文参考訳（メタデータ） (2022-01-13T18:59:02Z)
Self-Supervised Contrastive Learning for Efficient User Satisfaction Prediction in Conversational Agents [35.2098736872247]
ユーザとエージェントのインタラクションを学習するための,自己指導型コントラスト学習手法を提案する。自己教師対象を用いた事前学習モデルは,ユーザ満足度予測に転送可能であることを示す。また、非常に小さなサンプルサイズに対して、より優れた転送性を確保するために、新しい数発の転送学習手法を提案する。
論文参考訳（メタデータ） (2020-10-21T18:10:58Z)
Pseudo-Representation Labeling Semi-Supervised Learning [0.0]
近年、半教師付き学習は、ラベルのないデータを活用してディープラーニングモデルの性能向上に成功している。本研究は、擬似ラベル付け技術を用いて少量の未ラベルデータを反復的にラベル付けし、それらをトレーニングデータとして使用する、シンプルで柔軟なフレームワークである擬似表現ラベリングを提案する。従来の手法と比較して、擬似表現ラベリングはより直感的であり、現実世界の実践的な問題を効果的に解決することができる。
論文参考訳（メタデータ） (2020-05-31T03:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。