論文の概要: Bridging the Gap: Self-Optimized Fine-Tuning for LLM-based Recommender Systems

• arxiv url: http://arxiv.org/abs/2505.20771v1
• Date: Tue, 27 May 2025 06:22:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.443777
• Title: Bridging the Gap: Self-Optimized Fine-Tuning for LLM-based Recommender Systems
• Title（参考訳）: ギャップのブリッジ: LLMベースのレコメンダシステムのための自己最適化ファインチューニング
• Authors: Heng Tang, Feng Liu, Xinbo Chen, Jiawei Chen, Bohao Wang, Changwang Zhang, Jun Wang, Yuegang Sun, Bingde Hu, Can Wang,
• Abstract要約: 現在、LLM(Large Language Models)に推奨機能を持たせるための2つの一般的な戦略がある。 本稿では,カリキュラム学習の考え方を取り入れた,SOFT(Self-d Fine-Tuning)と呼ばれる新しい「Guidance+Tuning」手法を提案する。 LLM法では,レコメンデーション精度(平均37.59%)を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 12.987966995089122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed extensive exploration of Large Language Models (LLMs) on the field of Recommender Systems (RS). There are currently two commonly used strategies to enable LLMs to have recommendation capabilities: 1) The "Guidance-Only" strategy uses in-context learning to exploit and amplify the inherent semantic understanding and item recommendation capabilities of LLMs; 2) The "Tuning-Only" strategy uses supervised fine-tuning (SFT) to fine-tune LLMs with the aim of fitting them to real recommendation data. However, neither of these strategies can effectively bridge the gap between the knowledge space of LLMs and recommendation, and their performance do not meet our expectations. To better enable LLMs to learn recommendation knowledge, we combine the advantages of the above two strategies and proposed a novel "Guidance+Tuning" method called Self-Optimized Fine-Tuning (SOFT), which adopts the idea of curriculum learning. It first employs self-distillation to construct an auxiliary easy-to-learn but meaningful dataset from a fine-tuned LLM. Then it further utilizes a self-adaptive curriculum scheduler to enable LLMs to gradually learn from simpler data (self-distilled data) to more challenging data (real RS data). Extensive experiments demonstrate that SOFT significantly enhances the recommendation accuracy (37.59\% on average) of LLM-based methods. The code is available via https://anonymous.4open.science/r/Self-Optimized-Fine-Tuning-264E
• Abstract（参考訳）: 近年、Recommender Systems (RS) の分野におけるLarge Language Models (LLM) の広範な探索が見られた。 現在、LLMにレコメンデーション機能を持たせるための2つの一般的な戦略があります。 1)「ガイダンス・オンリー」戦略は、LLMの固有の意味理解と項目推薦能力を活用・増幅するために、文脈学習を利用する。 2)「チューニングオンリー」戦略では,教師付き微調整(SFT)を用いてLLMを微調整し,実際のレコメンデーションデータに適合させることを目的としている。 しかし、これらの戦略はLLMの知識空間とレコメンデーションのギャップを効果的に埋めることはできない。 LLMが推薦知識を学習できるように、上記の2つの戦略の利点を組み合わせて、カリキュラム学習の考え方を取り入れた、自己最適化細調整(SOFT)と呼ばれる新しい「ガイダンス+チューニング」手法を提案する。 最初は自己蒸留を用いて、微調整のLDMから学習しやすいが有意義なデータセットを構築する。 さらに、自己適応型カリキュラムスケジューラを使用して、LCMがより単純なデータ(自己蒸留データ)からより困難なデータ(実際のRSデータ)へ徐々に学習できるようにする。 大規模な実験により、SOFT は LLM ベースの手法の推奨精度 (平均37.59 %) を著しく向上させることが示された。 コードはhttps://anonymous.4open.science/r/Self-Optimized-Fine-Tuning-264Eで入手できる。

関連論文リスト

• DeepRec: Towards a Deep Dive Into the Item Space with Large Language Model Based Recommendation [83.21140655248624]
  大型言語モデル (LLM) はレコメンダシステム (RS) に導入された。 本稿では, LLM と TRM の自律的マルチターンインタラクションを実現する新しい RS である DeepRec を提案する。 公開データセットの実験では、DeepRecは従来のものとLLMベースのベースラインの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-05-22T15:49:38Z)
• LLM is Knowledge Graph Reasoner: LLM's Intuition-aware Knowledge Graph Reasoning for Cold-start Sequential Recommendation [47.34949656215159]
  大規模言語モデル(LLM)は、Webデータから学習された豊富な知識を持つデータベースとみなすことができる。 LLMの直感認識型知識グラフ推論モデル(LIKR)を提案する。 本モデルは,コールドスタートシーケンシャルレコメンデーションシナリオにおいて,最先端レコメンデーション手法より優れている。
  論文  参考訳（メタデータ） (2024-12-17T01:52:15Z)
• Real-Time Personalization for LLM-based Recommendation with Customized In-Context Learning [57.28766250993726]
  この研究は、モデル更新なしに動的なユーザ関心に適応することを検討する。 既存のLarge Language Model (LLM)ベースのレコメンダは、レコメンデーションチューニング中にコンテキスト内学習能力を失うことが多い。 本稿では,レコメンデーション固有のインコンテキスト学習をリアルタイムレコメンデーションにカスタマイズするRecICLを提案する。
  論文  参考訳（メタデータ） (2024-10-30T15:48:36Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Towards Efficient and Effective Unlearning of Large Language Models for Recommendation [46.599206847535676]
  我々は, LLMunderlineRec に対する最初のアンダーライン効率とアンダーライン効果のアンダーラインアンラーニング法である textbfE2URec を提案する。 E2URecは、いくつかのLoRAパラメータだけを更新することで、未学習の効率を向上し、教師と学生のフレームワークを利用することで、未学習の効率を向上させる。
  論文  参考訳（メタデータ） (2024-03-06T08:31:35Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。