論文の概要: JEPA4Rec: Learning Effective Language Representations for Sequential Recommendation via Joint Embedding Predictive Architecture

• arxiv url: http://arxiv.org/abs/2504.10512v1
• Date: Thu, 10 Apr 2025 01:31:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:12:10.804294
• Title: JEPA4Rec: Learning Effective Language Representations for Sequential Recommendation via Joint Embedding Predictive Architecture
• Title（参考訳）: JEPA4Rec: 予測アーキテクチャを併用したシーケンスレコメンデーションのための効果的な言語表現の学習
• Authors: Minh-Anh Nguyen, Dung D. Le,
• Abstract要約: JEPA4Recはセマンティックにリッチで転送可能な表現をキャプチャし、レコメンデーションパフォーマンスを改善する。 我々は、レコメンデーションデータセットの項目情報をキャプチャするのに適した、修正された埋め込み層を備えた双方向トランスフォーマーエンコーダを採用している。 6つの実世界のデータセットの実験は、JEPA4Recが一貫して最先端のメソッドを上回っていることを示している。
• 参考スコア（独自算出の注目度）: 4.166623313248681
• License:
• Abstract: Language representation learning has emerged as a promising approach for sequential recommendation, thanks to its ability to learn generalizable representations. However, despite its advantages, this approach still struggles with data sparsity and a limited understanding of common-sense user preferences. To address these limitations, we propose $\textbf{JEPA4Rec}$, a framework that combines $\textbf{J}$oint $\textbf{E}$mbedding $\textbf{P}$redictive $\textbf{A}$rchitecture with language modeling of item textual descriptions. JEPA4Rec captures semantically rich and transferable representations, improving recommendation performance and reducing reliance on large-scale pre-training data. Specifically, JEPA4Rec represents items as text sentences by flattening descriptive information such as $\textit{title, category}$, and other attributes. To encode these sentences, we employ a bidirectional Transformer encoder with modified embedding layers tailored for capturing item information in recommendation datasets. We apply masking to text sentences and use them to predict the representations of the unmasked sentences, helping the model learn generalizable item embeddings. To further improve recommendation performance and language understanding, we employ a two-stage training strategy incorporating self-supervised learning losses. Experiments on six real-world datasets demonstrate that JEPA4Rec consistently outperforms state-of-the-art methods, particularly in cross-domain, cross-platform, and low-resource scenarios.
• Abstract（参考訳）: 言語表現学習は、一般化可能な表現を学習する能力のおかげで、シーケンシャルなレコメンデーションのための有望なアプローチとして登場した。 しかし、その利点にも拘わらず、このアプローチはデータスパシティーと、一般的なユーザ好みの限定的な理解に苦慮している。 これらの制限に対処するために、$\textbf{JEPA4Rec}$というフレームワークを提案します。$\textbf{J}$oint $\textbf{E}$mbedding $\textbf{P}$redictive $\textbf{A}$rchitectureとアイテムテキスト記述の言語モデリングを組み合わせたものです。 JEPA4Recはセマンティックにリッチで転送可能な表現をキャプチャし、レコメンデーションパフォーマンスを改善し、大規模な事前トレーニングデータへの依存を減らす。 具体的には、JEPA4Recは、$\textit{title, category}$などの記述情報をフラットにすることで、アイテムをテキストとして表現する。 これらの文をエンコードするために、推奨データセットのアイテム情報を取得するのに適した埋め込み層を改良した双方向トランスフォーマーエンコーダを用いる。 テキスト文にマスキングを適用し,それらを用いて非マスキング文の表現を予測し,一般化可能な項目埋め込みの学習を支援する。 推薦性能と言語理解をさらに向上させるために,自己指導型学習損失を取り入れた2段階の学習戦略を採用した。 6つの実世界のデータセットの実験によると、JEPA4Recは、特にクロスドメイン、クロスプラットフォーム、低リソースのシナリオにおいて、最先端のメソッドを一貫して上回っている。

関連論文リスト

• RALLRec: Improving Retrieval Augmented Large Language Model Recommendation with Representation Learning [24.28601381739682]
  大規模言語モデル (LLM) は、ユーザの振る舞いを理解するためのレコメンデーションシステムに統合されている。 既存のRAGメソッドは主にテキストのセマンティクスに依存しており、しばしば最も関連性の高い項目を組み込むことができない。 検索強化大言語モデル推薦(RALLRec)のための表現学習を提案する。
  論文  参考訳（メタデータ） (2025-02-10T02:15:12Z)
• GeAR: Generation Augmented Retrieval [82.20696567697016]
  文書検索技術は大規模情報システム開発の基礎となる。 一般的な手法は、バイエンコーダを構築し、セマンティックな類似性を計算することである。 我々は、よく設計された融合およびデコードモジュールを組み込んだ $textbfGe$neration という新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-06T05:29:00Z)
• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• A Prompting-Based Representation Learning Method for Recommendation with Large Language Models [2.1161973970603998]
  本稿では,Recommender SystemsにおけるLarge Language Models(LLM)の言語能力を高めるために,Prompting-based Representation Learning Method for Recommendation(P4R)を紹介する。 P4Rフレームワークでは、パーソナライズされたアイテムプロファイルを作成するためにLSMプロンプト戦略を利用する。 評価では、P4Rと最先端のRecommenderモデルを比較し、プロンプトベースのプロファイル生成の品質を評価する。
  論文  参考訳（メタデータ） (2024-09-25T07:06:14Z)
• EasyRec: Simple yet Effective Language Models for Recommendation [6.311058599430178]
  EasyRecは、テキストベースの意味理解を協調的な信号とシームレスに統合する、効果的で使いやすいアプローチである。 EasyRecでは、コントラスト学習と協調的な言語モデルチューニングを組み合わせた、テキストビヘイビアアライメントフレームワークを採用している。 この研究は、プラグイン・アンド・プレイコンポーネントとしてEasyRecをテキスト強化協調フィルタリングフレームワークにシームレスに統合する可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-16T16:09:59Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Prefer to Classify: Improving Text Classifiers via Auxiliary Preference Learning [76.43827771613127]
  本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。 本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T04:04:47Z)
• Dual-Alignment Pre-training for Cross-lingual Sentence Embedding [79.98111074307657]
  本稿では,言語間文埋め込みのためのDAP(Dual-alignment pre-training)フレームワークを提案する。 そこで本研究では,一方の文脈化トークン表現を用いて翻訳相手を再構成する,新しい表現翻訳学習(RTL)タスクを提案する。 我々の手法は文の埋め込みを大幅に改善できる。
  論文  参考訳（メタデータ） (2023-05-16T03:53:30Z)
• Improving Items and Contexts Understanding with Descriptive Graph for Conversational Recommendation [4.640835690336652]
  会話レコメンデーションシステム(CRS)における最先端の手法は、外部知識を活用して、項目の表現と文脈の表現を強化する。 我々は,同じ意味空間における項目とその関連する文脈語を共同でモデル化する新しいCRSフレームワークKLEVERを提案する。 CRSデータセットのベンチマーク実験では、KLEVERは特にユーザの応答からの情報が不足している場合に、優れたパフォーマンスを達成することが示されている。
  論文  参考訳（メタデータ） (2023-04-11T21:21:46Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。