論文の概要: Generative Representational Learning of Foundation Models for Recommendation

• arxiv url: http://arxiv.org/abs/2506.11999v1
• Date: Fri, 13 Jun 2025 17:54:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.9101
• Title: Generative Representational Learning of Foundation Models for Recommendation
• Title（参考訳）: 推薦のための基礎モデルの生成的表現的学習
• Authors: Zheli Zhou, Chenxu Zhu, Jianghao Lin, Bo Chen, Ruiming Tang, Weinan Zhang, Yong Yu,
• Abstract要約: RecFoundは、レコメンデーションファウンデーションモデルのための生成的表現型学習フレームワークである。 生成タスクと埋め込みタスクの両方をカバーするレコメンデーションファンデーションモデルのための、最初の包括的なデータセットを構築した。 RecFoundはさまざまなレコメンデーションタスクで最先端のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 45.88034661002164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing a single foundation model with the capability to excel across diverse tasks has been a long-standing objective in the field of artificial intelligence. As the wave of general-purpose foundation models sweeps across various domains, their influence has significantly extended to the field of recommendation systems. While recent efforts have explored recommendation foundation models for various generative tasks, they often overlook crucial embedding tasks and struggle with the complexities of multi-task learning, including knowledge sharing & conflict resolution, and convergence speed inconsistencies. To address these limitations, we introduce RecFound, a generative representational learning framework for recommendation foundation models. We construct the first comprehensive dataset for recommendation foundation models covering both generative and embedding tasks across diverse scenarios. Based on this dataset, we propose a novel multi-task training scheme featuring a Task-wise Mixture of Low-rank Experts (TMoLE) to handle knowledge sharing & conflict, a Step-wise Convergence-oriented Sample Scheduler (S2Sched) to address inconsistent convergence, and a Model Merge module to balance the performance across tasks. Experiments demonstrate that RecFound achieves state-of-the-art performance across various recommendation tasks, outperforming existing baselines.
• Abstract（参考訳）: 多様なタスクを網羅する能力を持った単一の基礎モデルを開発することは、人工知能の分野で長年の目標であった。 汎用基盤モデルの波が各分野に広まるにつれ、その影響はレコメンデーションシステムの分野にまで拡大した。 最近の研究は、様々な生成タスクの推薦基盤モデルについて検討してきたが、それらはしばしば重要な埋め込みタスクを見落とし、知識共有やコンフリクト解決、収束速度の不整合を含むマルチタスク学習の複雑さに苦しむ。 これらの制約に対処するため,レコメンデーション基礎モデルのための生成的表現型学習フレームワークRecFoundを紹介した。 多様なシナリオにまたがる生成タスクと埋め込みタスクの両方をカバーする推薦基盤モデルのための、最初の包括的なデータセットを構築した。 本稿では,知識共有とコンフリクトを扱うためのタスクワイド・ミックス・オブ・ローランク・エキスパート(TMoLE)と,一貫性のない収束に対処するためのステップワイド・コンバージェンス指向サンプルスケジューリング(S2Sched)と,タスク間のパフォーマンスのバランスをとるモデルマージモジュールを特徴とする,新しいマルチタスク・トレーニング手法を提案する。 RecFoundはさまざまなレコメンデーションタスクで最先端のパフォーマンスを実現し、既存のベースラインを上回ります。

関連論文リスト

• Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study [11.452011929848844]
  本研究では,マルチタスク最適化を支援するメタサロゲートフレームワークを提案する。 問題群に適合するメタデータを持つ普遍モデルを定義することにより、多タスクフィットネス予測のための統一的なフレームワークを定式化する。 我々のフレームワークは、双対レベルの知識伝達 -- 代理レベルと個別レベルの両方 -- をサポートし、最適化の効率性と堅牢性を高めます。
  論文  参考訳（メタデータ） (2025-03-11T11:13:11Z)
• Joint Modeling in Recommendations: A Survey [46.000357352884926]
  共同モデリングアプローチは、さまざまなタスク、シナリオ、モダリティ、振る舞いをレコメンデーションプロセスに統合することによって、制限を克服する上で中心となる。 我々は,マルチタスク,マルチシナリオ,マルチモーダル,マルチビヘイビア・モデリングという,4つの異なる次元のジョイント・モデリングのスコープを定義する。 本研究は,提案する共同モデルにおける今後の研究の道のりについて紹介し,その結果を簡潔にまとめる。
  論文  参考訳（メタデータ） (2025-02-28T16:14:00Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。