論文の概要: Continual Collaborative Distillation for Recommender System
- arxiv url: http://arxiv.org/abs/2405.19046v4
- Date: Wed, 26 Jun 2024 00:21:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 23:33:15.908714
- Title: Continual Collaborative Distillation for Recommender System
- Title（参考訳）: リコメンダシステムのための連続的協調蒸留法
- Authors: Gyuseok Lee, SeongKu Kang, Wonbin Kweon, Hwanjo Yu,
- Abstract要約: 非定常データストリームにおける教師学生KDの運用に関する体系的なアプローチを提案する。
我々は,教師と学生がデータストリームに沿って継続的に協調的に進化する連続的協調蒸留(Continuous Collaborative Distillation, CCD)フレームワークを提案する。
実世界の2つのデータセットにおいて, CCDの有効性を定量的, アブレーション的, 探索的実験により検証した。
- 参考スコア（独自算出の注目度）: 20.10443406772368
- License:
- Abstract: Knowledge distillation (KD) has emerged as a promising technique for addressing the computational challenges associated with deploying large-scale recommender systems. KD transfers the knowledge of a massive teacher system to a compact student model, to reduce the huge computational burdens for inference while retaining high accuracy. The existing KD studies primarily focus on one-time distillation in static environments, leaving a substantial gap in their applicability to real-world scenarios dealing with continuously incoming users, items, and their interactions. In this work, we delve into a systematic approach to operating the teacher-student KD in a non-stationary data stream. Our goal is to enable efficient deployment through a compact student, which preserves the high performance of the massive teacher, while effectively adapting to continuously incoming data. We propose Continual Collaborative Distillation (CCD) framework, where both the teacher and the student continually and collaboratively evolve along the data stream. CCD facilitates the student in effectively adapting to new data, while also enabling the teacher to fully leverage accumulated knowledge. We validate the effectiveness of CCD through extensive quantitative, ablative, and exploratory experiments on two real-world datasets. We expect this research direction to contribute to narrowing the gap between existing KD studies and practical applications, thereby enhancing the applicability of KD in real-world systems.
- Abstract（参考訳）: 知識蒸留(KD)は,大規模レコメンデータシステムの展開に伴う計算課題に対処するための,有望な手法として登場した。
KDは、大規模な教師システムの知識をコンパクトな学生モデルに伝達し、高精度を維持しながら推論の膨大な計算負担を軽減する。
既存のKD研究は、主に静的な環境での1回蒸留に焦点を当てており、連続的にやってくるユーザー、アイテム、およびそれらの相互作用を扱う現実のシナリオに適用性にかなりのギャップを残している。
本研究では,教師学生のKDを非定常データストリームで運用するための体系的なアプローチを探索する。
我々のゴールは、教師の高性能を保ちながら、継続的にやってくるデータに効果的に適応する、コンパクトな学生による効率的な展開を可能にすることである。
我々は,教師と学生がデータストリームに沿って継続的に協調的に進化する連続的協調蒸留(Continuous Collaborative Distillation, CCD)フレームワークを提案する。
CCDは、生徒が新しいデータに効果的に適応できるようにすると同時に、教師が蓄積した知識を完全に活用できるようにする。
実世界の2つのデータセットにおいて, CCDの有効性を定量的, アブレーション的, 探索的実験により検証した。
我々は,本研究の方向性が,既存のKD研究と実践的応用のギャップを狭めることに貢献し,現実のシステムにおけるKDの適用性を高めることを期待する。
関連論文リスト
- Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。
SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。
翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
論文 参考訳（メタデータ） (2024-10-15T06:51:25Z) - Applications of Knowledge Distillation in Remote Sensing: A Survey [3.481234252899159]
知識蒸留(KD)は、複雑な、しばしば面倒なモデル(教師)からよりコンパクトで効率的なモデル(学生)へ知識を伝達するために開発された技術である。
この記事では、KDテクニックの包括的な分類法を提供し、各カテゴリを批判的に分析して、代替オプションの幅と深さを実証する。
本報告では, RSにおけるKDの課題と限界について論じる。
論文 参考訳（メタデータ） (2024-09-18T16:30:49Z) - Bridging the Gap: Unpacking the Hidden Challenges in Knowledge Distillation for Online Ranking Systems [13.437632008276552]
知識蒸留(KD)は、大きなモデルをより小さく、より効率的なモデルに圧縮するための強力なアプローチである。
本稿では,Google内の複数の大規模パーソナライズされたビデオレコメンデーションシステム上で,堅牢なKDシステムを構築し,厳密に評価する。
論文 参考訳（メタデータ） (2024-08-26T23:01:48Z) - Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。
RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。
我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
論文 参考訳（メタデータ） (2024-07-04T08:08:25Z) - Robustness-Reinforced Knowledge Distillation with Correlation Distance
and Network Pruning [3.1423836318272773]
知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。
既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。
相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
論文 参考訳（メタデータ） (2023-11-23T11:34:48Z) - Comparative Knowledge Distillation [102.35425896967791]
伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。
本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。
CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
論文 参考訳（メタデータ） (2023-11-03T21:55:33Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - Semi-Online Knowledge Distillation [2.373824287636486]
従来の知識蒸留(KD)は、大規模で訓練済みの教師ネットワークから小さな学生ネットワークへ知識を伝達することである。
学生ネットワークの協調学習を支援するために,Deep mutual learning (DML) が提案されている。
学生と教師のパフォーマンスを効果的に向上する半オンライン知識蒸留法(SOKD)を提案する。
論文 参考訳（メタデータ） (2021-11-23T09:44:58Z) - How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。
我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。
特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
論文 参考訳（メタデータ） (2021-10-22T21:30:53Z) - Knowledge Distillation Thrives on Data Augmentation [65.58705111863814]
知識蒸留(KD)は、教師モデルを用いて学生モデルをガイドする一般的なディープニューラルネットワークトレーニングフレームワークである。
多くの研究がその成功の根拠を探っているが、データ強化(DA)との相互作用は未だよく認識されていない。
本稿では,KD損失は,クロスエントロピー損失を伴わないが,拡張トレーニングイテレーションの恩恵を受けることができることを示す。
KD損失は、DAがもたらす異なる入力ビューから余分な情報をタップすることができる。
論文 参考訳（メタデータ） (2020-12-05T00:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。