論文の概要: Collaboration of Large Language Models and Small Recommendation Models for Device-Cloud Recommendation

• arxiv url: http://arxiv.org/abs/2501.05647v1
• Date: Fri, 10 Jan 2025 01:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:38.911726
• Title: Collaboration of Large Language Models and Small Recommendation Models for Device-Cloud Recommendation
• Title（参考訳）: デバイスクラウドレコメンデーションのための大規模言語モデルと小型レコメンデーションモデルの協調
• Authors: Zheqi Lv, Tianyu Zhan, Wenjie Wang, Xinyu Lin, Shengyu Zhang, Wenqiao Zhang, Jiwei Li, Kun Kuang, Fei Wu,
• Abstract要約: 推奨のためのLarge Language Models (LLMs) for Recommendation (LLM4Rec)は、この分野における優れたパフォーマンスを示す有望な研究方向である。 LLMはトレーニングや推論に費用がかかり、リアルタイムデータへのアクセスに苦労する。 スモールレコメンデーションモデル(SRM)は、頻繁なトレーニングと推論のために最小限のリソースを消費し、デバイス上のリアルタイムデータに便利なアクセスを行うことによって、これらの欠点を効果的に補うことができる。
• 参考スコア（独自算出の注目度）: 47.28027985634746
• License:
• Abstract: Large Language Models (LLMs) for Recommendation (LLM4Rec) is a promising research direction that has demonstrated exceptional performance in this field. However, its inability to capture real-time user preferences greatly limits the practical application of LLM4Rec because (i) LLMs are costly to train and infer frequently, and (ii) LLMs struggle to access real-time data (its large number of parameters poses an obstacle to deployment on devices). Fortunately, small recommendation models (SRMs) can effectively supplement these shortcomings of LLM4Rec diagrams by consuming minimal resources for frequent training and inference, and by conveniently accessing real-time data on devices. In light of this, we designed the Device-Cloud LLM-SRM Collaborative Recommendation Framework (LSC4Rec) under a device-cloud collaboration setting. LSC4Rec aims to integrate the advantages of both LLMs and SRMs, as well as the benefits of cloud and edge computing, achieving a complementary synergy. We enhance the practicability of LSC4Rec by designing three strategies: collaborative training, collaborative inference, and intelligent request. During training, LLM generates candidate lists to enhance the ranking ability of SRM in collaborative scenarios and enables SRM to update adaptively to capture real-time user interests. During inference, LLM and SRM are deployed on the cloud and on the device, respectively. LLM generates candidate lists and initial ranking results based on user behavior, and SRM get reranking results based on the candidate list, with final results integrating both LLM's and SRM's scores. The device determines whether a new candidate list is needed by comparing the consistency of the LLM's and SRM's sorted lists. Our comprehensive and extensive experimental analysis validates the effectiveness of each strategy in LSC4Rec.
• Abstract（参考訳）: LLM4Rec(Large Language Models, LLMs for Recommendation, LLM4Rec)は、この分野における優れたパフォーマンスを示す、有望な研究方向である。 しかし、リアルタイムユーザの好みをキャプチャできないことは、LLM4Recの実用性を著しく制限している。 一 LLM は、頻繁な訓練及び推論に費用がかかるもの (ii) LLMはリアルタイムデータにアクセスするのに苦労する(多数のパラメータがデバイスへのデプロイに障害をもたらす)。 幸いなことに、小さなレコメンデーションモデル(SRM)は、頻繁なトレーニングと推論のために最小限のリソースを消費し、デバイス上のリアルタイムデータに便利なアクセスを行うことで、LLM4Recダイアグラムのこれらの欠点を効果的に補うことができる。 そこで我々は,デバイスクラウド協調環境下で,デバイスクラウドLLM-SRM協調勧告フレームワーク (LSC4Rec) を設計した。 LSC4Recは、LLMとSRMの両方の利点と、クラウドとエッジコンピューティングの利点を統合することを目的としており、相補的なシナジーを実現している。 協調学習,協調推論,知的要求という3つの戦略を設計することで,LCC4Recの実践性を向上させる。 トレーニング中にLLMは、協調シナリオにおけるSRMのランキング能力を高めるための候補リストを生成し、SRMを適応的に更新し、リアルタイムのユーザ関心を捉えることを可能にする。 推論中、LSMとSRMはそれぞれクラウドとデバイスにデプロイされる。 LLMはユーザの行動に基づいて候補リストと初期ランキング結果を生成し、SRMは候補リストに基づいて結果を再ランク付けし、最終結果はLLMとSRMのスコアを統合する。 LLMとSRMのソートリストの整合性を比較することで、新しい候補リストが必要かどうかを判定する。 LSC4Recにおける各戦略の有効性を包括的かつ広範な実験的分析により検証した。

関連論文リスト

• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System [19.8986219047121]
  協調フィルタリング推薦システム (CF-RecSys) は, ソーシャルメディアやeコマースプラットフォーム上でのユーザエクスペリエンス向上に成功している。 近年の戦略は、事前訓練されたモダリティエンコーダと大規模言語モデルに基づくユーザ/イテムのモダリティ情報の活用に重点を置いている。 コールドシナリオだけでなく、ウォームシナリオにおいても優れたA-LLMRecと呼ばれる全周LCMベースのレコメンダシステムを提案する。
  論文  参考訳（メタデータ） (2024-04-17T13:03:07Z)
• LLM-Oriented Retrieval Tuner [25.563739811422874]
  Dense Retrieval(DR)は現在、LLM(Large Language Models)の記憶能力を高めるための有望なツールと考えられている。 本稿では,LLM から DR 容量を分離する効率的な LLM-Oriented Retrieval Tuner,すなわち LMORT を提案する。 提案手法は,強力なDRモデルと比較して,競争力のあるゼロショット検索性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-04T12:50:25Z)
• Enabling Weak LLMs to Judge Response Reliability via Meta Ranking [38.63721941742435]
  我々は、$textitMeta Ranking$ (MR) と呼ばれるクロスクエリベースの新しい手法を提案する。 MRは、ターゲットクエリ-レスポンスペアを複数の参照クエリ-レスポンスペアにペアでランク付けすることで、信頼性を評価する。 MRはモデルカスケーディングとインストラクションチューニングの2つの実用的応用において、強力なLLMの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T13:57:55Z)
• CoLLM: Integrating Collaborative Embeddings into Large Language Models for Recommendation [60.2700801392527]
  我々は,協調情報をLLMにシームレスに組み込んでレコメンデーションを行う,革新的なLLMRec手法であるCoLLMを紹介する。 CoLLMは、外部の伝統的なモデルを通して協調情報をキャプチャし、LLMの入力トークン埋め込み空間にマッピングする。 大規模な実験により、CoLLMはLLMに協調情報を包括的に統合し、レコメンデーション性能が向上することが確認された。
  論文  参考訳（メタデータ） (2023-10-30T12:25:00Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• Do LLMs Understand User Preferences? Evaluating LLMs On User Rating Prediction [15.793007223588672]
  大規模言語モデル(LLM)は、ゼロショットまたは少数ショットの方法で新しいタスクに一般化する際、例外的な機能を示した。 我々は,2億5000万から540Bのパラメータを多種多様なサイズで検討し,その性能をゼロショット,少数ショット,微調整のシナリオで評価した。
  論文  参考訳（メタデータ） (2023-05-10T21:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。