論文の概要: Exploring Feature-based Knowledge Distillation For Recommender System: A Frequency Perspective

• arxiv url: http://arxiv.org/abs/2411.10676v1
• Date: Sat, 16 Nov 2024 02:41:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:59.736874
• Title: Exploring Feature-based Knowledge Distillation For Recommender System: A Frequency Perspective
• Title（参考訳）: リコメンダシステムのための特徴量に基づく知識蒸留の探索:周波数視点
• Authors: Zhangchi Zhu, Wei Zhang,
• Abstract要約: 周波数の観点から特徴量に基づく知識蒸留を推奨するために分析する。 我々は,知識重みを再分配することによって重要な知識を強調することを提案する。 広範囲にわたる実験により、FreqDはレコメンダシステムに対する最先端の知識蒸留法よりも一貫して、著しく優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.1752785943044985
• License:
• Abstract: In this paper, we analyze the feature-based knowledge distillation for recommendation from the frequency perspective. By defining knowledge as different frequency components of the features, we theoretically demonstrate that regular feature-based knowledge distillation is equivalent to equally minimizing losses on all knowledge and further analyze how this equal loss weight allocation method leads to important knowledge being overlooked. In light of this, we propose to emphasize important knowledge by redistributing knowledge weights. Furthermore, we propose FreqD, a lightweight knowledge reweighting method, to avoid the computational cost of calculating losses on each knowledge. Extensive experiments demonstrate that FreqD consistently and significantly outperforms state-of-the-art knowledge distillation methods for recommender systems. Our code is available at \url{https://anonymous.4open.science/r/FreqKD/}
• Abstract（参考訳）: 本稿では,周波数の観点から,特徴量に基づく知識蒸留を推奨するために分析する。 特徴量の異なる周波数成分として知識を定義することにより、通常の特徴量に基づく知識蒸留は全ての知識の損失を等しく最小化することと同等のものであることを理論的に証明し、この均等な損失重み付け法が重要な知識の見落としにつながるかを更に分析する。 そこで我々は,知識重みを再分配することによって重要な知識を強調することを提案する。 さらに,各知識の損失を計算する計算コストを回避するために,軽量な知識再重み付け手法であるFreqDを提案する。 広範囲にわたる実験により、FreqDはレコメンダシステムに対する最先端の知識蒸留法よりも一貫して、著しく優れていることが示された。 我々のコードは \url{https://anonymous.4open.science/r/FreqKD/} で入手できる。

関連論文リスト

• Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection [47.0507287491627]
  本稿では,物体検出のための知識の不確実性を考慮した特徴量に基づく蒸留パラダイムを提案する。 モンテカルロのドロップアウト手法を利用して,学生モデルの学習過程に知識の不確実性を導入する。 本手法は,複雑な構造や計算資源を必要とせずに,KDプロセス中に効果的に機能する。
  論文  参考訳（メタデータ） (2024-06-11T06:51:02Z)
• AdaKD: Dynamic Knowledge Distillation of ASR models using Adaptive Loss Weighting [5.818420448447701]
  適応的知識蒸留(Adaptive Knowledge Distillation, Adaptive Knowledge Distillation)は, カリキュラム学習にインスパイアされた新しい手法であり, 事例レベルでの損失を適応的に評価する。 提案手法は,任意のタスク固有および蒸留目的に対して適用可能なプラグアンドプレイパラダイムに従っている。
  論文  参考訳（メタデータ） (2024-05-11T15:06:24Z)
• Knowledge Graph Self-Supervised Rationalization for Recommendation [9.591334756455968]
  知識認識レコメンデータシステムのための,KGRecと呼ばれる自己指導型合理化手法を提案する。 本稿では,知識三重項に対する合理的スコアを生成する,注意的知識合理化機構を提案する。 3つの実世界のデータセットの実験では、KGRecが最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2023-07-06T03:44:40Z)
• Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection [35.515135913846386]
  本稿では, 知識蒸留プロセスにおいて, 適切な知識を選択するためのアクター批判的アプローチを提案する。 GLUEデータセットによる実験結果から,本手法はいくつかの強い知識蒸留基準を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-02-01T13:40:19Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)
• Residual Knowledge Distillation [96.18815134719975]
  本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。 このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。 提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-21T07:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。