論文の概要: Knowledge Distillation Approaches for Accurate and Efficient Recommender System
- arxiv url: http://arxiv.org/abs/2407.13952v1
- Date: Fri, 19 Jul 2024 00:01:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 19:13:08.104615
- Title: Knowledge Distillation Approaches for Accurate and Efficient Recommender System
- Title（参考訳）: 高精度かつ効率的なレコメンダシステムのための知識蒸留手法
- Authors: SeongKu Kang,
- Abstract要約: この論文は、レコメンデーターシステムのための知識蒸留法の開発に費やされている。
提案手法は,その知識源に応じて分類される。
異種推薦モデルのランク付け知識を圧縮する新しい学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 8.27119606183475
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite its breakthrough in classification problems, Knowledge distillation (KD) to recommendation models and ranking problems has not been studied well in the previous literature. This dissertation is devoted to developing knowledge distillation methods for recommender systems to fully improve the performance of a compact model. We propose novel distillation methods designed for recommender systems. The proposed methods are categorized according to their knowledge sources as follows: (1) Latent knowledge: we propose two methods that transfer latent knowledge of user/item representation. They effectively transfer knowledge of niche tastes with a balanced distillation strategy that prevents the KD process from being biased towards a small number of large preference groups. Also, we propose a new method that transfers user/item relations in the representation space. The proposed method selectively transfers essential relations considering the limited capacity of the compact model. (2) Ranking knowledge: we propose three methods that transfer ranking knowledge from the recommendation results. They formulate the KD process as a ranking matching problem and transfer the knowledge via a listwise learning strategy. Further, we present a new learning framework that compresses the ranking knowledge of heterogeneous recommendation models. The proposed framework is developed to ease the computational burdens of model ensemble which is a dominant solution for many recommendation applications. We validate the benefit of our proposed methods and frameworks through extensive experiments. To summarize, this dissertation sheds light on knowledge distillation approaches for a better accuracy-efficiency trade-off of the recommendation models.
- Abstract（参考訳）: 分類問題の進展にもかかわらず、モデルやランキング問題に対する知識蒸留(KD)は、これまでの文献ではよく研究されていない。
この論文は、コンパクトモデルの性能を十分に向上させるために、レコメンダシステムのための知識蒸留法の開発に費やされている。
本稿では,レコメンデータシステムのための新しい蒸留法を提案する。
提案手法は,(1)潜伏知識:ユーザ/イテム表現の潜伏知識を伝達する2つの手法を提案する。
ニッチな味の知識をバランスの取れた蒸留戦略で効果的に伝達し、KDプロセスが少数の大規模な嗜好グループに偏りを生じないようにする。
また,表現空間におけるユーザ/イテム関係を伝達する新しい手法を提案する。
提案手法は,コンパクトモデルの限られた容量を考慮した基本関係を選択的に伝達する。
2)ランキング知識:推薦結果からランキング知識を伝達する3つの手法を提案する。
彼らはKDプロセスをランキングマッチング問題として定式化し、リストワイズ学習戦略を介して知識を伝達する。
さらに、異種推薦モデルのランキング知識を圧縮する新しい学習フレームワークを提案する。
提案手法はモデルアンサンブルの計算負担を軽減するために開発された。
提案手法とフレームワークの利点を広範な実験により検証する。
要約すると、この論文は、レコメンデーションモデルの精度と効率のトレードオフを改善するために、知識蒸留アプローチに光を当てている。
関連論文リスト
- Pre-trained Language Model and Knowledge Distillation for Lightweight Sequential Recommendation [51.25461871988366]
本稿では,事前学習言語モデルと知識蒸留に基づく逐次推薦アルゴリズムを提案する。
提案アルゴリズムは,推薦精度を高め,タイムリーな推薦サービスを提供する。
論文 参考訳（メタデータ） (2024-09-23T08:39:07Z) - Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。
本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。
実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
論文 参考訳（メタデータ） (2024-09-03T07:42:59Z) - Knowledge Editing in Language Models via Adapted Direct Preference Optimization [50.616875565173274]
大きな言語モデル(LLM)は、時間とともに時代遅れになる可能性がある。
知識編集は、高価なリトレーニングを必要としないウェイトアップデートを使用して、この課題を克服することを目的としている。
論文 参考訳（メタデータ） (2024-06-14T11:02:21Z) - Enhancing Scalability in Recommender Systems through Lottery Ticket
Hypothesis and Knowledge Distillation-based Neural Network Pruning [1.3654846342364308]
本研究では、ニューラルネットワークの効率的なプルーニングを目的とした革新的なアプローチを導入し、エッジデバイスへの展開に特に焦点をあてる。
本手法は,LTH(Lottery Ticket hypothesis)とKD(Knowledge Distillation)フレームワークを統合することで,3つの異なるプルーニングモデルの定式化を実現する。
幸いなことに、我々のアプローチはGPU計算能力の最大66.67%を削減した。
論文 参考訳（メタデータ） (2024-01-19T04:17:50Z) - Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。
従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。
このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
論文 参考訳（メタデータ） (2022-11-27T05:14:03Z) - A Closer Look at Knowledge Distillation with Features, Logits, and
Gradients [81.39206923719455]
知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。
この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。
分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2022-03-18T21:26:55Z) - Dual Correction Strategy for Ranking Distillation in Top-N Recommender System [22.37864671297929]
本稿では,知識蒸留のための二重補正戦略について述べる。
DCDは、より効率的な方法で、教師モデルから生徒モデルにランキング情報を転送する。
実験の結果,提案手法は最先端のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-09-08T07:00:45Z) - Residual Knowledge Distillation [96.18815134719975]
本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。
このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。
提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
論文 参考訳（メタデータ） (2020-02-21T07:49:26Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。