論文の概要: Towards a Unified View of Affinity-Based Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2209.15555v1
• Date: Fri, 30 Sep 2022 16:12:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 16:01:11.282084
• Title: Towards a Unified View of Affinity-Based Knowledge Distillation
• Title（参考訳）: アフィニティに基づく知識蒸留の統一観に向けて
• Authors: Vladimir Li and Atsuto Maki
• Abstract要約: 我々は知識蒸留を3つの構成要素、すなわち親和性、正規化、損失の枠組みにモジュール化する。 我々は, 単純さにもかかわらず, 関係性に基づく知識蒸留が, 最先端技術に匹敵する性能を達成できることを示す。
• 参考スコア（独自算出の注目度）: 5.482532589225552
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Knowledge transfer between artificial neural networks has become an important topic in deep learning. Among the open questions are what kind of knowledge needs to be preserved for the transfer, and how it can be effectively achieved. Several recent work have shown good performance of distillation methods using relation-based knowledge. These algorithms are extremely attractive in that they are based on simple inter-sample similarities. Nevertheless, a proper metric of affinity and use of it in this context is far from well understood. In this paper, by explicitly modularising knowledge distillation into a framework of three components, i.e. affinity, normalisation, and loss, we give a unified treatment of these algorithms as well as study a number of unexplored combinations of the modules. With this framework we perform extensive evaluations of numerous distillation objectives for image classification, and obtain a few useful insights for effective design choices while demonstrating how relation-based knowledge distillation could achieve comparable performance to the state of the art in spite of the simplicity.
• Abstract（参考訳）: ニューラルネットワーク間の知識伝達は、ディープラーニングにおいて重要なトピックとなっている。 オープンな質問には、転送のためにどのような知識を保存する必要があるか、どのように効果的に達成できるか、などが含まれている。 近年,関係知識を用いた蒸留法の性能が向上している。 これらのアルゴリズムは単純なサンプル間の類似性に基づいており、非常に魅力的である。 それでも、この文脈における親和性とそれの使用の適切な計量はよく理解されていない。 本稿では,知識蒸留をアフィニティ,正規化,損失の3成分からなる枠組みに明示的にモジュール化することにより,これらのアルゴリズムを統一的に処理し,モジュールの未探索な組み合わせについて検討する。 この枠組みにより, 画像分類のための多数の蒸留目標の広範な評価を行い, 設計選択に有効な知見を得た上で, 単純さにもかかわらず, 関係に基づく知識蒸留が技術水準に匹敵する性能を達成できることを実証した。

関連論文リスト

• Apprenticeship-Inspired Elegance: Synergistic Knowledge Distillation Empowers Spiking Neural Networks for Efficient Single-Eye Emotion Recognition [53.359383163184425]
  本稿では, 効率的な単一眼球運動認識タスクに適した, マルチモーダル・シナジスティック知識蒸留方式を提案する。 この方法では、軽量で単調な学生スパイクニューラルネットワーク(SNN)が、イベントフレームマルチモーダル教師ネットワークから豊富な知識を抽出することができる。
  論文  参考訳（メタデータ） (2024-06-20T07:24:47Z)
• Knowledge Distillation via Token-level Relationship Graph [12.356770685214498]
  token-level Relation Graph (TRG) を用いた知識蒸留法を提案する。 TRGを利用することで、教師モデルから高レベルの意味情報を効果的にエミュレートすることができる。 我々は,提案手法の有効性を,いくつかの最先端手法に対して評価する実験を行った。
  論文  参考訳（メタデータ） (2023-06-20T08:16:37Z)
• Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection [58.48995335728938]
  基本クラスと新規クラスの間に3種類のクラスに依存しない共通点を明示的に学習する。 提案手法は,既存の微調整方式のほとんどに容易に統合でき,一貫した性能向上が期待できる。
  論文  参考訳（メタデータ） (2022-07-22T16:46:51Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• Information Theoretic Representation Distillation [20.802135299032308]
  情報理論と知識蒸留の代替関係を,最近提案したエントロピー様関数を用いて構築する。 本手法は,知識蒸留とクロスモデル伝達タスクの最先端技術に対する競争性能を実現する。 バイナリ量子化のための新しい最先端技術に光を当てた。
  論文  参考訳（メタデータ） (2021-12-01T12:39:50Z)
• Adaptive Distillation: Aggregating Knowledge from Multiple Paths for Efficient Distillation [15.337420940135704]
  ニューラルネットワーク圧縮アルゴリズムの主なトレンドの1つに、知識蒸留がある。 本稿では,マルチタスク学習に基づく適応手法を提案する。 本稿では, 知識蒸留の分類, セマンティックセグメンテーション, オブジェクト検出タスクへの応用について, 他のベースラインに対する提案手法の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-10-19T00:57:40Z)
• Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning [93.18238573921629]
  本研究では,学習モデルのアンサンブルがテスト精度を向上させる方法と,アンサンブルの優れた性能を単一モデルに蒸留する方法について検討する。 深層学習におけるアンサンブル/知識蒸留は,従来の学習理論とは大きく異なる。 また, 自己蒸留は, アンサンブルと知識蒸留を暗黙的に組み合わせて, 試験精度を向上させることができることを示した。
  論文  参考訳（メタデータ） (2020-12-17T18:34:45Z)
• On the Orthogonality of Knowledge Distillation with Other Techniques: From an Ensemble Perspective [34.494730096460636]
  知識蒸留は,効率的なニューラルネットワークを実用化するための強力な装置であることを示す。 また,知識蒸留を他の手法と効果的に統合する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-09-09T06:14:59Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。