Fugu-MT 論文翻訳(概要): ID-centric Pre-training for Recommendation

論文の概要: ID-centric Pre-training for Recommendation

arxiv url: http://arxiv.org/abs/2405.03562v2
Date: Tue, 07 May 2024 06:29:25 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-11 00:58:53.147920
Title: ID-centric Pre-training for Recommendation
Title（参考訳）: 勧告のためのID中心の事前訓練
Authors: Yiqing Wu, Ruobing Xie, Zhao Zhang, Fuzhen Zhuang, Xu Zhang, Leyu Lin, Zhanhui Kang, Yongjun Xu,
Abstract要約: IDの埋め込みは、新しいドメインに移すことが難しい。 ID埋め込みにおける行動情報は、まだPLMベースのレコメンデーションモデルで支配的であることが証明されている。本稿では,事前学習ドメインで学習した情報型ID埋め込みを新しいドメインの項目表現に直接転送する,新しいID中心の事前学習パラダイムを提案する。
参考スコア（独自算出の注目度）: 51.72177873832969
License:
Abstract: Classical sequential recommendation models generally adopt ID embeddings to store knowledge learned from user historical behaviors and represent items. However, these unique IDs are challenging to be transferred to new domains. With the thriving of pre-trained language model (PLM), some pioneer works adopt PLM for pre-trained recommendation, where modality information (e.g., text) is considered universal across domains via PLM. Unfortunately, the behavioral information in ID embeddings is still verified to be dominating in PLM-based recommendation models compared to modality information and thus limits these models' performance. In this work, we propose a novel ID-centric recommendation pre-training paradigm (IDP), which directly transfers informative ID embeddings learned in pre-training domains to item representations in new domains. Specifically, in pre-training stage, besides the ID-based sequential model for recommendation, we also build a Cross-domain ID-matcher (CDIM) learned by both behavioral and modality information. In the tuning stage, modality information of new domain items is regarded as a cross-domain bridge built by CDIM. We first leverage the textual information of downstream domain items to retrieve behaviorally and semantically similar items from pre-training domains using CDIM. Next, these retrieved pre-trained ID embeddings, rather than certain textual embeddings, are directly adopted to generate downstream new items' embeddings. Through extensive experiments on real-world datasets, both in cold and warm settings, we demonstrate that our proposed model significantly outperforms all baselines. Codes will be released upon acceptance.
Abstract（参考訳）: 古典的なシーケンシャルレコメンデーションモデルは、一般的にID埋め込みを採用して、ユーザの過去の行動から学んだ知識を保存し、アイテムを表現する。しかし、これらのユニークなIDは、新しいドメインに転送することは困難である。事前学習言語モデル(PLM)の発達に伴い、いくつかの先駆的な研究が事前学習されたレコメンデーションのためにPLMを採用しており、そこではモダリティ情報(例:テキスト)がPLMを介してドメイン間で普遍的であると考えられている。残念ながら、ID埋め込みにおける行動情報は、モダリティ情報と比較してPLMベースのレコメンデーションモデルで支配的であることが証明されており、それによってこれらのモデルの性能が制限される。本研究では,事前学習ドメインで学んだ情報的ID埋め込みを新しいドメインの項目表現に直接転送する,新しいID中心の事前学習パラダイム(IDP)を提案する。具体的には、事前学習段階において、IDベースのレコメンデーションモデルに加えて、行動情報とモダリティ情報の両方から学習されたクロスドメインID-matcher(CDIM)を構築する。チューニング段階では新しいドメイン項目のモダリティ情報をCDIMによって構築されたクロスドメインブリッジと見なす。まず、まず下流ドメイン項目のテキスト情報を利用して、CDIMを用いて事前学習ドメインから行動的および意味論的に類似した項目を検索する。次に、検索したトレーニング済みのID埋め込みを、特定のテキスト埋め込みではなく直接採用して、下流の新しいアイテムの埋め込みを生成する。寒冷・温暖な環境下での実世界のデータセットに関する広範な実験を通じて、提案したモデルがすべてのベースラインを大幅に上回っていることを示す。コードは受理後に公開される。

関連論文リスト

Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning [64.1745161657794]
ドメイン・インクリメンタル・ラーニング(ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、Domain-Incremental Learning、DIL)は、異なるドメインにまたがる新しい概念へのモデルの漸進的な適応を含む。プレトレーニングモデルの最近の進歩は、DILの確かな基盤を提供する。しかし、新しい概念を学ぶことは、しばしば、事前訓練された知識を破滅的に忘れてしまう。本稿では,歴史的知識の統一と統合を図るために,デュアルコンソリデータティオン(ドゥクト)を提案する。
論文参考訳（メタデータ） (2024-10-01T17:58:06Z)
Exploring User Retrieval Integration towards Large Language Models for Cross-Domain Sequential Recommendation [66.72195610471624]
Cross-Domain Sequential Recommendationは、異なるドメイン間でユーザのシーケンシャルな好みをマイニングし、転送することを目的としている。本稿では,ユーザ検索手法を探索し,CDSRの性能向上を目的とした URLLM という新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T09:19:54Z)
Adapting to Distribution Shift by Visual Domain Prompt Generation [34.19066857066073]
いくつかのラベルのないデータを使って、テスト時にモデルを適応し、分散シフトに対処する。ソースドメインから移行可能な知識を学ぶための知識銀行を構築します。提案手法は,WILDSやDomainNetを含む5つの大規模ベンチマークにおいて,従来よりも優れている。
論文参考訳（メタデータ） (2024-05-05T02:44:04Z)
Quality > Quantity: Synthetic Corpora from Foundation Models for Closed-Domain Extractive Question Answering [35.38140071573828]
閉領域内での抽出的質問応答について検討し,対象とする事前学習の概念を紹介する。提案フレームワークはGalacticaを用いて,特定の書体スタイルやトピックに合わせて合成された「ターゲット」コーパスを生成する。
論文参考訳（メタデータ） (2023-10-25T20:48:16Z)
Online Unsupervised Domain Adaptation for Person Re-identification [4.48123023008698]
本稿では,非教師付きドメイン適応のための新しいオンライン・セッティングについて紹介する。我々は、有名なMarket-1501、Duke、MSMT17ベンチマークを用いて、最新のUDAアルゴリズムを新しいオンライン環境に適用し、評価する。
論文参考訳（メタデータ） (2022-05-09T15:36:08Z)
Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文参考訳（メタデータ） (2021-10-26T04:03:45Z)
Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文参考訳（メタデータ） (2021-09-12T15:51:41Z)
Multi-Domain Adversarial Feature Generalization for Person Re-Identification [52.835955258959785]
マルチデータセット特徴一般化ネットワーク(MMFA-AAE)を提案する。複数のラベル付きデータセットから普遍的なドメイン不変の特徴表現を学習し、それを見えないカメラシステムに一般化することができる。また、最先端の教師付き手法や教師なしのドメイン適応手法を大きなマージンで超えている。
論文参考訳（メタデータ） (2020-11-25T08:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。