論文の概要: LLM-KT: A Versatile Framework for Knowledge Transfer from Large Language Models to Collaborative Filtering

• arxiv url: http://arxiv.org/abs/2411.00556v1
• Date: Fri, 01 Nov 2024 13:09:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:46:49.506568
• Title: LLM-KT: A Versatile Framework for Knowledge Transfer from Large Language Models to Collaborative Filtering
• Title（参考訳）: LLM-KT:大規模言語モデルから協調フィルタリングへの知識伝達のための多言語フレームワーク
• Authors: Nikita Severin, Aleksei Ziablitsev, Yulia Savelyeva, Valeriy Tashchilin, Ivan Bulychev, Mikhail Yushkov, Artem Kushneruk, Amaliya Zaryvnykh, Dmitrii Kiselev, Andrey Savchenko, Ilya Makarov,
• Abstract要約: LLM生成機能をシームレスに統合することにより、協調フィルタリング(CF)モデルを強化するフレキシブルなフレームワークを提案する。 我々のフレームワークは、これらの機能を任意のCFモデルの中間層に注入し、モデルが内部の埋め込みを再構築し、活用できるようにする。 私たちのフレームワークは統合と修正を容易にするために構築されており、研究者や開発者がCFモデル機能を拡張するための強力なツールを提供しています。
• 参考スコア（独自算出の注目度）: 0.07793154724386657
• License:
• Abstract: We present LLM-KT, a flexible framework designed to enhance collaborative filtering (CF) models by seamlessly integrating LLM (Large Language Model)-generated features. Unlike existing methods that rely on passing LLM-generated features as direct inputs, our framework injects these features into an intermediate layer of any CF model, allowing the model to reconstruct and leverage the embeddings internally. This model-agnostic approach works with a wide range of CF models without requiring architectural changes, making it adaptable to various recommendation scenarios. Our framework is built for easy integration and modification, providing researchers and developers with a powerful tool for extending CF model capabilities through efficient knowledge transfer. We demonstrate its effectiveness through experiments on the MovieLens and Amazon datasets, where it consistently improves baseline CF models. Experimental studies showed that LLM-KT is competitive with the state-of-the-art methods in context-aware settings but can be applied to a broader range of CF models than current approaches.
• Abstract（参考訳）: LLM(Large Language Model)生成機能をシームレスに統合することにより、協調フィルタリング(CF)モデルを強化するフレキシブルなフレームワークであるLLM-KTを提案する。 LLM生成した機能を直接入力として渡す既存の方法とは異なり、我々のフレームワークはこれらの機能を任意のCFモデルの中間層に注入し、モデルが内部の埋め込みを再構築し利用できるようにする。 このモデルに依存しないアプローチは、アーキテクチャの変更を必要とせずに、幅広いCFモデルで動作する。 当社のフレームワークは、統合と修正を容易にするために構築されており、研究者や開発者は、効率的な知識伝達を通じてCFモデル機能を拡張する強力なツールを提供しています。 我々は、MovieLensとAmazonデータセットの実験を通じて、その効果を実証し、ベースラインCFモデルを一貫して改善する。 実験により、LLM-KTは文脈認識設定における最先端の手法と競合するが、現在のアプローチよりも広い範囲のCFモデルに適用可能であることが示された。

関連論文リスト

• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 我々の研究は、既存のLCMスケーリングテクニック、特に選択的マージと混合のバリエーションのベンチマークから始まります。 我々の手法は、マージ可能なモデルのクラスタリングと最適なマージ戦略選択、モデルミックスによるクラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Exploring the Role of Large Language Models in Prompt Encoding for Diffusion Models [42.891427362223176]
  デコーダのみの変換器をベースとした大規模言語モデル(LLM)は、優れたテキスト理解能力を示している。 LLMの能力をフル活用するための新しいフレームワークを提案する。 さらに, LLM-Infused Diffusion Transformer (LI-DiT) を設計した。
  論文  参考訳（メタデータ） (2024-06-17T17:59:43Z)
• When Life gives you LLMs, make LLM-ADE: Large Language Models with Adaptive Data Engineering [0.0]
  LLM-ADEは、大規模言語モデルのトレーニングを継続するための方法論である。 それは破滅的な忘れと二重降下の課題に対処する。 これは、以前に取得した知識を保持しながら、新しいデータに対するモデル適応性を高める。
  論文  参考訳（メタデータ） (2024-04-19T17:43:26Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
  CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。 モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
  論文  参考訳（メタデータ） (2023-12-01T08:02:16Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)
• Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
  協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。 本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。 ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
  論文  参考訳（メタデータ） (2021-06-14T14:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。