論文の概要: Leveraging Different Learning Styles for Improved Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2212.02931v1
• Date: Tue, 6 Dec 2022 12:40:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 16:07:31.677047
• Title: Leveraging Different Learning Styles for Improved Knowledge Distillation
• Title（参考訳）: 知識蒸留改善のための異なる学習スタイルの活用
• Authors: Usma Niyaz and Deepti R. Bathula
• Abstract要約: 我々の研究は、知識蒸留(KD)と相互学習(ML)の文脈における混合情報共有とモデル圧縮の考え方を探求する。 すべてのネットワークで同じタイプの知識を共有する従来の手法とは異なり、学習プロセスを強化するために、異なる形式の情報で個別のネットワークを訓練することを提案する。 ベンチマーク分類とセグメンテーションデータセットを用いた総合的な実験により、15%の圧縮により、様々な形態の知識で訓練されたネットワークのアンサンブル性能が、従来の手法よりも定量的かつ質的に優れていることが示された。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning style refers to a type of training mechanism adopted by an individual to gain new knowledge. As suggested by the VARK model, humans have different learning preferences like visual, auditory, etc., for acquiring and effectively processing information. Inspired by this concept, our work explores the idea of mixed information sharing with model compression in the context of Knowledge Distillation (KD) and Mutual Learning (ML). Unlike conventional techniques that share the same type of knowledge with all networks, we propose to train individual networks with different forms of information to enhance the learning process. We formulate a combined KD and ML framework with one teacher and two student networks that share or exchange information in the form of predictions and feature maps. Our comprehensive experiments with benchmark classification and segmentation datasets demonstrate that with 15% compression, the ensemble performance of networks trained with diverse forms of knowledge outperforms the conventional techniques both quantitatively and qualitatively.
• Abstract（参考訳）: 学習スタイルとは、個人が新しい知識を得るために採用する訓練機構の一種である。 VARKモデルによって示唆されるように、人間は情報を取得し、効果的に処理するための視覚、聴覚などの学習の好みが異なる。 この概念に触発されて,我々は知識蒸留(kd)と相互学習(ml)の文脈における混合情報共有とモデル圧縮の考え方を探求した。 従来の知識を全てのネットワークと共有する手法とは異なり、学習プロセスを強化するために、異なる情報形式を持つ個々のネットワークを訓練することを提案する。 我々はKDとMLのフレームワークを1つの教師と2つの学生ネットワークで構成し、予測と特徴マップの形式で情報を共有または交換する。 ベンチマーク分類とセグメンテーションデータセットを用いた包括的実験により,15%の圧縮により,多様な知識を訓練したネットワークのアンサンブル性能が,従来の手法よりも定量的かつ質的に優れていることが示された。

関連論文リスト

• Ensemble Learning via Knowledge Transfer for CTR Prediction [9.891226177252653]
  本稿では,より大規模なアンサンブルネットワークを調査し,一般的なアンサンブル学習法に特有の3つの制約を見出す。 我々は,新しいモデルに依存しないアンサンブル知識伝達フレームワーク(EKTF)を提案する。 実世界の5つのデータセットの実験結果は、EKTFの有効性と互換性を示している。
  論文  参考訳（メタデータ） (2024-11-25T06:14:20Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• Augmenting Knowledge Distillation With Peer-To-Peer Mutual Learning For Model Compression [2.538209532048867]
  相互学習(ML)は、複数の単純な学生ネットワークが知識を共有することで恩恵を受ける、代替戦略を提供する。 そこで本研究では,KDとMLを併用して,より優れたパフォーマンスを実現する,単教師多学生フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-21T09:59:31Z)
• Revisiting Knowledge Distillation: An Inheritance and Exploration Framework [153.73692961660964]
  知識蒸留(KD)は、教師モデルから生徒モデルに知識を伝達する一般的な手法である。 新たな継承・探索知識蒸留フレームワーク(IE-KD)を提案する。 我々のIE-KDフレームワークは汎用的であり、ディープニューラルネットワークを訓練するための既存の蒸留や相互学習手法と簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-01T02:20:56Z)
• Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
  複数知識伝達(CTSL-MKT)による協調学習を提案する。 複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。 4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2021-01-21T07:17:04Z)
• Multi-level Knowledge Distillation [13.71183256776644]
  教師から学生ネットワークへより豊かな表現的知識を伝達するために,MLKD(Multi-level Knowledge Distillation)を導入する。 MLKDは、個人類似性、関係類似性、カテゴリー類似性という3つの新しい教師-学生類似性を採用している。 実験により、MLKDは同様のアーキテクチャタスクとクロスアーキテクチャタスクの両方において、他の最先端メソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-12-01T15:27:15Z)
• Knowledge Distillation Beyond Model Compression [13.041607703862724]
  知識蒸留(KD)は、より大規模な事前訓練されたモデルや(教師)モデルのアンサンブルの監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。 本研究では,9つの異なるKD手法について広範な研究を行い,知識の獲得と伝達に関する幅広いアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-07-03T19:54:04Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。