論文の概要: Pre-train and Fine-tune: Recommenders as Large Models

• arxiv url: http://arxiv.org/abs/2501.14268v1
• Date: Fri, 24 Jan 2025 06:18:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:57:23.267545
• Title: Pre-train and Fine-tune: Recommenders as Large Models
• Title（参考訳）: プレトレイン・ファインチューン:大型モデルとしてのレコメンダ
• Authors: Zhenhao Jiang, Chenghao Chen, Hao Feng, Yu Yang, Jin Liu, Jie Zhang, Jia Jia, Ning Hu,
• Abstract要約: 我々はリコメンデータを大きな事前訓練されたモデルとみなし、それらを微調整する。 我々は、事前学習したレコメンデータを微調整するために、情報認識適応カーネル(IAK)を設計する。
• 参考スコア（独自算出の注目度）: 13.718353597561489
• License:
• Abstract: In reality, users have different interests in different periods, regions, scenes, etc. Such changes in interest are so drastic that they are difficult to be captured by recommenders. Existing multi-domain learning can alleviate this problem. However, the structure of the industrial recommendation system is complex, the amount of data is huge, and the training cost is extremely high, so it is difficult to modify the structure of the industrial recommender and re-train it. To fill this gap, we consider recommenders as large pre-trained models and fine-tune them. We first propose the theory of the information bottleneck for fine-tuning and present an explanation for the fine-tuning technique in recommenders. To tailor for recommendation, we design an information-aware adaptive kernel (IAK) technique to fine-tune the pre-trained recommender. Specifically, we define fine-tuning as two phases: knowledge compression and knowledge matching and let the training stage of IAK explicitly approximate these two phases. Our proposed approach designed from the essence of fine-tuning is well interpretable. Extensive online and offline experiments show the superiority of our proposed method. Besides, we also share unique and important lessons we learned when deploying the method in a large-scale online platform. We also present the potential issues of fine-tuning techniques in recommendation systems and the corresponding solutions. The recommender with IAK technique has been deployed on the homepage of a billion-scale online food platform for several months and has yielded considerable profits in our business.
• Abstract（参考訳）: 実際には、ユーザーは異なる期間、地域、シーンなどに興味を持っている。 このような関心の変化は、非常に劇的なものであり、レコメンデーターによって捕らえられにくい。 既存のマルチドメイン学習はこの問題を軽減することができる。 しかし、産業レコメンデーションシステムの構造は複雑であり、データの量は膨大であり、トレーニングコストも極めて高いため、産業レコメンデーションシステムの構造を変更して再訓練することは困難である。 このギャップを埋めるために、我々はリコメンデータを大きな事前訓練されたモデルとみなし、それらを微調整する。 まず, ファインチューニングのための情報ボトルネックの理論を提案し, ファインチューニング手法の説明を行う。 提案手法は,情報認識型適応カーネル(IAK)を設計し,事前学習したレコメンデータを微調整する。 具体的には、ファインチューニングを知識圧縮と知識マッチングの2つのフェーズとして定義し、IAKのトレーニング段階をこれらの2つのフェーズを明示的に近似させる。 微調整の本質から設計した提案手法はよく解釈可能である。 大規模なオンラインおよびオフライン実験は,提案手法の優位性を示している。 さらに、大規模なオンラインプラットフォームにメソッドをデプロイする際に学んだ、ユニークな、重要な教訓も公開しています。 また,レコメンデーションシステムにおける微調整技術の可能性とその対応ソリューションについて述べる。 IAK技術を使用したレコメンデーターは、数ヵ月間、数十億ドル規模のオンラインフードプラットフォームのホームページにデプロイされ、当社のビジネスでかなりの利益を上げています。

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Knowledge Distillation Approaches for Accurate and Efficient Recommender System [8.27119606183475]
  この論文は、レコメンデーターシステムのための知識蒸留法の開発に費やされている。 提案手法は,その知識源に応じて分類される。 異種推薦モデルのランク付け知識を圧縮する新しい学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-19T00:01:18Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Adapting Triplet Importance of Implicit Feedback for Personalized Recommendation [43.85549591503592]
  インプシットフィードバックは、パーソナライズされたレコメンデーションサービスを開発するために頻繁に使用される。 本稿では,Triplet Importance Learning (TIL) という新たなトレーニングフレームワークを提案する。 提案手法は,トップkレコメンデーションのRecall@kにおいて,既存モデルよりも3～21%優れていた。
  論文  参考訳（メタデータ） (2022-08-02T19:44:47Z)
• Learning Robust Recommender from Noisy Implicit Feedback [140.7090392887355]
  我々はAdaptive Denoising Training(ADT)という新しいトレーニング戦略を提案する。 ADTは2つのパラダイム(Trncated LossとReweighted Loss)によるノイズ相互作用を適応的に引き起こす 我々は、追加のフィードバック(例えば、評価)を補助信号とみなし、追加のフィードバックをADTに組み込むための3つの戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-02T12:12:02Z)
• Incremental Learning for Personalized Recommender Systems [8.020546404087922]
  トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。 このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
  論文  参考訳（メタデータ） (2021-08-13T04:21:21Z)
• Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data [13.080986170257782]
  プルーニングは、モデル推論のメモリと計算要求の両方を削減する効果的な手法である。 本研究では,非定常データ分散を伴う大規模レコメンデーションシステムにおいて,新しいプルーニングアルゴリズムを備えた適応的高密度・スパースパラダイムを提案する。
  論文  参考訳（メタデータ） (2020-10-16T22:33:14Z)
• Self-Supervised Reinforcement Learning for Recommender Systems [77.38665506495553]
  逐次リコメンデーションタスクのための自己指導型強化学習を提案する。 提案手法は,2つの出力層を持つ標準レコメンデーションモデルを強化する。 このようなアプローチに基づいて、自己監督型Q-ラーニング(SQN)と自己監督型アクター・クライブ(SAC)という2つのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T11:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。