論文の概要: Sliding Window Training -- Utilizing Historical Recommender Systems Data for Foundation Models

• arxiv url: http://arxiv.org/abs/2409.14517v1
• Date: Wed, 21 Aug 2024 18:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 22:19:40.932221
• Title: Sliding Window Training -- Utilizing Historical Recommender Systems Data for Foundation Models
• Title（参考訳）: スライディングウィンドウトレーニング - 基礎モデルのための歴史的レコメンダシステムデータの利用
• Authors: Swanand Joshi, Yesu Feng, Ko-Jen Hsiao, Zhe Zhang, Sudarshan Lamkhede,
• Abstract要約: 長寿命のレコメンデータシステム(RecSys)は、長年にわたる長いユーザとイテムのインタラクション履歴に遭遇することが多い。 長期的ユーザの好みを効果的に学習するためには、FM(Large RecSys foundation model)が事前学習時にこの情報をエンコードする必要がある。 モデル入力次元を増大させることなく、トレーニング時間中に長いユーザ履歴シーケンスを組み込むスライディングウィンドウトレーニング手法を導入する。
• 参考スコア（独自算出の注目度）: 8.298236989162213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-lived recommender systems (RecSys) often encounter lengthy user-item interaction histories that span many years. To effectively learn long term user preferences, Large RecSys foundation models (FM) need to encode this information in pretraining. Usually, this is done by either generating a long enough sequence length to take all history sequences as input at the cost of large model input dimension or by dropping some parts of the user history to accommodate model size and latency requirements on the production serving side. In this paper, we introduce a sliding window training technique to incorporate long user history sequences during training time without increasing the model input dimension. We show the quantitative & qualitative improvements this technique brings to the RecSys FM in learning user long term preferences. We additionally show that the average quality of items in the catalog learnt in pretraining also improves.
• Abstract（参考訳）: 長寿命のレコメンデータシステム(RecSys)は、長年にわたる長いユーザとイテムのインタラクション履歴に遭遇することが多い。 長期的ユーザの好みを効果的に学習するためには、FM(Large RecSys foundation model)が事前学習時にこの情報をエンコードする必要がある。 通常、これは、すべての履歴シーケンスを大きなモデル入力次元のコストで入力として取るのに十分な長さのシーケンスを生成するか、あるいは、本番サービス側でモデルサイズと遅延要件を満たすために、ユーザ履歴の一部をドロップする、のいずれかによって行われる。 本稿では、モデル入力次元を増大させることなく、トレーニング時間中に長いユーザ履歴シーケンスを組み込むスライディングウィンドウトレーニング手法を提案する。 本稿では,この手法が長期学習におけるRecSys FMにもたらす量的・質的な改善について述べる。 また,事前学習で学習した項目の平均品質も向上することを示した。

関連論文リスト

• How to Train Long-Context Language Models (Effectively) [75.5418485597276]
  言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。 ProLong-8BはLlama-3のもので、40Bトークンで訓練されている。
  論文  参考訳（メタデータ） (2024-10-03T16:46:52Z)
• Adaptive Memory Replay for Continual Learning [29.333341368722653]
  新たなデータが利用可能になれば、ファンデーションモデルの更新は破滅的な忘れに繋がる」 連続学習のための適応型メモリリプレイの枠組みを導入し、過去のデータのサンプリングをマルチアームバンディット問題と表現する。 我々は,学習効率を犠牲にすることなく,最大10%の忘れ込みを低減しつつ,高い性能を維持するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T22:01:56Z)
• User Embedding Model for Personalized Language Prompting [9.472634942498859]
  自由形式のテキストでユーザ履歴を効率よく処理し,それを埋め込みとして表現する新しいユーザ埋め込みモジュール(UEM)を導入する。 本実験は, より長い歴史を扱う上で, このアプローチの優れた能力を示すものである。 この研究の主な貢献は、埋め込みとして表現されたユーザ信号で言語モデルをバイアスする能力を示すことである。
  論文  参考訳（メタデータ） (2024-01-10T00:35:52Z)
• Long-range Multimodal Pretraining for Movie Understanding [79.63187251571391]
  本稿では,映画データを利用してトランスファー可能なマルチモーダルエンコーダとクロスモーダルエンコーダを訓練する戦略とモデルを提案する。 私たちのキーとなるアイデアは、長期にわたる関係を観察し、抽出することで、映画のあらゆるモダリティから学ぶことです。 本モデルでは,複数のLVUタスクの最先端化を実現し,従来の作業よりもはるかにデータ効率がよい。
  論文  参考訳（メタデータ） (2023-08-18T18:52:59Z)
• LPT: Long-tailed Prompt Tuning for Image Classification [178.52948452353834]
  凍結事前訓練モデルに複数のトレーニング可能なプロンプトを導入し、長い尾を持つデータに適用する。 フェーズ1では、教師付きプロンプトチューニングを通じて共有プロンプトをトレーニングし、事前訓練されたモデルを所望の長尾領域に適応させる。 フェーズ2では、学習した共有プロンプトをクエリとして使用し、類似したサンプルのグループに対して、マッチした小さなベストセットを選択する。
  論文  参考訳（メタデータ） (2022-10-03T15:47:02Z)
• Beyond Learning from Next Item: Sequential Recommendation via Personalized Interest Sustainability [22.120680831015783]
  シークエンシャルレコメンデータシステムでは,ユーザの関心の漂流を捉えることで,効果的な提案がなされている。 ユーザ中心のモデルは、各ユーザの逐次消費履歴に基づいて、パーソナライズされた関心のドリフトをキャプチャする。 アイテム中心のモデルは、トレーニング時間後にユーザーの一般的な関心が持続するかどうかを検討するが、パーソナライズされない。
  論文  参考訳（メタデータ） (2022-09-14T13:47:58Z)
• Teacher Guided Training: An Efficient Framework for Knowledge Transfer [86.6784627427194]
  高品質なコンパクトモデルを訓練するための教師誘導訓練(TGT)フレームワークを提案する。 TGTは、教師が基礎となるデータドメインの優れた表現を取得したという事実を利用する。 TGTは複数の画像分類ベンチマークやテキスト分類や検索タスクの精度を向上させることができる。
  論文  参考訳（メタデータ） (2022-08-14T10:33:58Z)
• Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
  本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。 提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-06T13:06:31Z)
• Incremental Learning for Personalized Recommender Systems [8.020546404087922]
  トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。 このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
  論文  参考訳（メタデータ） (2021-08-13T04:21:21Z)
• Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling [70.64257515361972]
  テールユーザに注力することで、より多くのメリットをもたらし、長いテールの問題に対処できる、と私たちは主張しています。 具体的には、頭部から尾部への知識伝達を容易にするために、勾配アライメントを提案し、敵のトレーニングスキームを採用する。
  論文  参考訳（メタデータ） (2020-10-22T03:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。