論文の概要: Teaching What You Should Teach: A Data-Based Distillation Method
- arxiv url: http://arxiv.org/abs/2212.05422v5
- Date: Fri, 21 Apr 2023 12:40:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 17:51:02.837289
- Title: Teaching What You Should Teach: A Data-Based Distillation Method
- Title（参考訳）: 教えるべきことを教える: データに基づく蒸留法
- Authors: Shitong Shao and Huanran Chen and Zhen Huang and Linrui Gong and Shuai
Wang and Xinxiao Wu
- Abstract要約: 知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。
本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。
具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
- 参考スコア（独自算出の注目度）: 20.595460553747163
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In real teaching scenarios, an excellent teacher always teaches what he (or
she) is good at but the student is not. This gives the student the best
assistance in making up for his (or her) weaknesses and becoming a good one
overall. Enlightened by this, we introduce the "Teaching what you Should Teach"
strategy into a knowledge distillation framework, and propose a data-based
distillation method named "TST" that searches for desirable augmented samples
to assist in distilling more efficiently and rationally. To be specific, we
design a neural network-based data augmentation module with priori bias, which
assists in finding what meets the teacher's strengths but the student's
weaknesses, by learning magnitudes and probabilities to generate suitable data
samples. By training the data augmentation module and the generalized
distillation paradigm in turn, a student model is learned with excellent
generalization ability. To verify the effectiveness of our method, we conducted
extensive comparative experiments on object recognition, detection, and
segmentation tasks. The results on the CIFAR-10, ImageNet-1k, MS-COCO, and
Cityscapes datasets demonstrate that our method achieves state-of-the-art
performance on almost all teacher-student pairs. Furthermore, we conduct
visualization studies to explore what magnitudes and probabilities are needed
for the distillation process.
- Abstract（参考訳）: 実教育のシナリオでは、優秀な教師は常に自分が得意とするものを教えるが、生徒はそうではない。
これにより、生徒は自分の(または彼女の)弱点を補い、全体として良い人になるための最善の助けとなる。
そこで本研究では,知識蒸留の枠組みに「教育」戦略を導入するとともに,より効率的かつ合理的な蒸留を支援するために,望ましい増設試料を探索する「TST」というデータベースの蒸留手法を提案する。
具体的には,教師の強みを満たしているものの,生徒の弱みを見出すのに役立つ,事前バイアスを持つニューラルネットワークベースのデータ拡張モジュールを,大きさと確率を学習して適切なデータサンプルを生成する。
データ拡張モジュールと一般化蒸留パラダイムを訓練することにより、学生モデルが優れた一般化能力で学習される。
提案手法の有効性を検証するため,物体認識,検出,セグメンテーションタスクに関する広範な比較実験を行った。
CIFAR-10, ImageNet-1k, MS-COCO, Cityscapesのデータセットで得られた結果から, ほぼすべての教師と生徒のペアに対して, 最先端のパフォーマンスを実現することができた。
さらに,蒸留プロセスにおいてどのような大きさと確率が必要かを検討するために可視化研究を行う。
関連論文リスト
- ReffAKD: Resource-efficient Autoencoder-based Knowledge Distillation [3.301728339780329]
本稿では,資源量の多い教師モデルを必要としない知識蒸留効率を向上させる革新的な手法を提案する。
そこで本研究では,ソフトラベルを効率的に生成する手法を提案し,大規模な教師モデルの必要性を排除した。
CIFAR-100、Tiny Imagenet、Fashion MNISTなど、さまざまなデータセットに関する実験は、我々のアプローチの優れたリソース効率を実証している。
論文 参考訳（メタデータ） (2024-04-15T15:54:30Z) - Let All be Whitened: Multi-teacher Distillation for Efficient Visual
Retrieval [57.17075479691486]
市販の事前学習型検索モデルから軽量な学生モデルに知識を伝達し,効率的な視覚的検索を可能にする多教師蒸留フレームワークWhiten-MTDを提案する。
ソースコードはhttps://github.com/Maryeon/whiten_mtd.comで公開されています。
論文 参考訳（メタデータ） (2023-12-15T11:43:56Z) - Student-friendly Knowledge Distillation [1.5469452301122173]
そこで我々は,教師による知識表現の簡易化を目的として,学生に優しい知識蒸留(SKD)を提案する。
SKDは、軟化処理と学習簡略化器とを含む。
CIFAR-100とImageNetのデータセットを用いた実験結果から,本手法が最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2023-05-18T11:44:30Z) - Improved knowledge distillation by utilizing backward pass knowledge in
neural networks [17.437510399431606]
知識蒸留(KD)は、モデル圧縮において重要な技術の一つである。
本研究では,教師の後方パスから知識を抽出し,新たな補助訓練サンプルを作成する。
自然言語処理(NLP)と言語理解(Language understanding)の応用において,この手法がいかにうまく利用できるかを示す。
論文 参考訳（メタデータ） (2023-01-27T22:07:38Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳（メタデータ） (2023-01-27T22:04:37Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。
本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文 参考訳（メタデータ） (2022-03-14T15:02:13Z) - Dual Discriminator Adversarial Distillation for Data-free Model
Compression [36.49964835173507]
我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。
具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。
提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
論文 参考訳（メタデータ） (2021-04-12T12:01:45Z) - Knowledge Distillation Meets Self-Supervision [109.6400639148393]
知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。
一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。
これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
論文 参考訳（メタデータ） (2020-06-12T12:18:52Z) - Role-Wise Data Augmentation for Knowledge Distillation [48.115719640111394]
知識蒸留(KD)は、ある機械学習モデルから学んだ知識を別の機械学習モデルに転送する一般的な方法である。
我々は、知識蒸留を促進するために、異なる役割を持つデータ増強剤を設計する。
特別に調整されたデータポイントが、教師の知識をより効果的に生徒に示せることを実証的に見出した。
論文 参考訳（メタデータ） (2020-04-19T14:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。