論文の概要: Distillation from Heterogeneous Models for Top-K Recommendation

• arxiv url: http://arxiv.org/abs/2303.01130v1
• Date: Thu, 2 Mar 2023 10:23:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 15:06:52.301657
• Title: Distillation from Heterogeneous Models for Top-K Recommendation
• Title（参考訳）: トップK勧告のための不均一モデルからの蒸留
• Authors: SeongKu Kang, Wonbin Kweon, Dongha Lee, Jianxun Lian, Xing Xie, Hwanjo Yu
• Abstract要約: HetCompは、教師の軌跡から一連の知識を伝達することで、学生モデルをガイドするフレームワークである。 HetCompは学生モデルの蒸留品質と一般化を著しく改善する。
• 参考スコア（独自算出の注目度）: 43.83625440616829
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent recommender systems have shown remarkable performance by using an ensemble of heterogeneous models. However, it is exceedingly costly because it requires resources and inference latency proportional to the number of models, which remains the bottleneck for production. Our work aims to transfer the ensemble knowledge of heterogeneous teachers to a lightweight student model using knowledge distillation (KD), to reduce the huge inference costs while retaining high accuracy. Through an empirical study, we find that the efficacy of distillation severely drops when transferring knowledge from heterogeneous teachers. Nevertheless, we show that an important signal to ease the difficulty can be obtained from the teacher's training trajectory. This paper proposes a new KD framework, named HetComp, that guides the student model by transferring easy-to-hard sequences of knowledge generated from the teachers' trajectories. To provide guidance according to the student's learning state, HetComp uses dynamic knowledge construction to provide progressively difficult ranking knowledge and adaptive knowledge transfer to gradually transfer finer-grained ranking information. Our comprehensive experiments show that HetComp significantly improves the distillation quality and the generalization of the student model.
• Abstract（参考訳）: 近年のレコメンデータシステムは異種モデルのアンサンブルを用いて顕著な性能を示した。 しかし、それはリソースとモデル数に比例する推論遅延を必要とするため、非常にコストがかかる。 本研究の目的は,異種教員のアンサンブル知識を,知識蒸留(kd)を用いた軽量学生モデルに移し,高い精度を維持しつつ,膨大な推論コストを削減することである。 実験の結果,異種教員から知識を移すと,蒸留の効果が著しく低下することがわかった。 それにもかかわらず、難易度を和らげる重要な信号が教師の訓練軌道から得られることを示した。 本稿では,教師の軌跡から生み出す知識の難解なシーケンスを伝達することにより,生徒モデルを指導する新しいkdフレームワークhetcompを提案する。 生徒の学習状態に応じた指導を行うため、hetcompは動的知識構築を用いて、段階的に難易度の高いランキング知識と適応的知識転送を提供し、より詳細なランキング情報を徐々に転送する。 総合実験の結果,HetCompは蒸留品質と学生モデルの一般化を著しく改善することがわかった。

関連論文リスト

• Faithful Label-free Knowledge Distillation [8.572967695281054]
  本稿では,中期教師(TinTeM)と呼ばれるラベルフリーな知識蒸留手法を提案する。 より忠実な学生を生み出し、教師ネットワークの振る舞いをよりよく再現し、モデルの堅牢性、一般化可能性、アウト・オブ・ディストリビューション検出などをテストする。
  論文  参考訳（メタデータ） (2024-11-22T01:48:44Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Student-friendly Knowledge Distillation [1.5469452301122173]
  そこで我々は,教師による知識表現の簡易化を目的として,学生に優しい知識蒸留(SKD)を提案する。 SKDは、軟化処理と学習簡略化器とを含む。 CIFAR-100とImageNetのデータセットを用いた実験結果から,本手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-18T11:44:30Z)
• Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
  単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-18T02:41:04Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Dynamic Rectification Knowledge Distillation [0.0]
  ダイナミック・リクティフィケーション・ナレッジ蒸留(DR-KD)は、知識蒸留の枠組みである。 DR-KDは生徒を自身の教師に転換し、自己学習者が情報を蒸留しながら誤った予測を行った場合、知識が蒸留される前に誤りが修正される。 提案するDR-KDは, 複雑な教師モデルが存在しない場合, 極めて良好に機能する。
  論文  参考訳（メタデータ） (2022-01-27T04:38:01Z)
• Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
  本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。 事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
  論文  参考訳（メタデータ） (2021-02-12T07:00:17Z)
• Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
  本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。 また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。 提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2020-02-06T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。