論文の概要: Feature Affinity Assisted Knowledge Distillation and Quantization of Deep Neural Networks on Label-Free Data

• arxiv url: http://arxiv.org/abs/2302.10899v3
• Date: Fri, 18 Aug 2023 18:29:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 01:35:21.218376
• Title: Feature Affinity Assisted Knowledge Distillation and Quantization of Deep Neural Networks on Label-Free Data
• Title（参考訳）: ラベルフリーデータに基づく深部ニューラルネットワークの知識蒸留と量子化のための特徴親和性
• Authors: Zhijian Li, Biao Yang, Penghang Yin, Yingyong Qi, and Jack Xin
• Abstract要約: 深層ニューラルネットワーク(DNN)の量子化学習を改善するための機能親和性(FA)支援知識蒸留(KD)法を提案する。 FA損失は、従来のKDで最終回答を与えるのではなく、生徒にソリューションの中間ステップを教える役割を担っている。 その結果、量子化された学生ネットワークは、ラベル付き地上データよりも強い監督を受けていることがわかった。
• 参考スコア（独自算出の注目度）: 6.583394290366136
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose a feature affinity (FA) assisted knowledge distillation (KD) method to improve quantization-aware training of deep neural networks (DNN). The FA loss on intermediate feature maps of DNNs plays the role of teaching middle steps of a solution to a student instead of only giving final answers in the conventional KD where the loss acts on the network logits at the output level. Combining logit loss and FA loss, we found that the quantized student network receives stronger supervision than from the labeled ground-truth data. The resulting FAQD is capable of compressing model on label-free data, which brings immediate practical benefits as pre-trained teacher models are readily available and unlabeled data are abundant. In contrast, data labeling is often laborious and expensive. Finally, we propose a fast feature affinity (FFA) loss that accurately approximates FA loss with a lower order of computational complexity, which helps speed up training for high resolution image input.
• Abstract（参考訳）: 本稿では,深層ニューラルネットワーク(DNN)の量子化学習を改善するために,機能親和性(FA)支援知識蒸留(KD)法を提案する。 DNNの中間機能マップにおけるFA損失は、ネットワークロジットに損失が作用する従来のKDにおいてのみ最終回答を与えるのではなく、生徒にソリューションの中間ステップを教える役割を担っている。 ロジット損失とfa損失を組み合わせることで,定量化学生ネットワークはラベル付き地中データよりも強い監督を受けていることがわかった。 FAQDはラベルのないデータでモデルを圧縮することができ、事前学習された教師モデルが容易に利用可能であり、ラベルなしデータが豊富であるので、すぐに実用的な利点をもたらす。 対照的に、データラベリングはしばしば手間と費用がかかる。 最後に,高速な特徴親和性(FFA)損失を計算複雑性の低い順で正確に近似し,高分解能画像入力のトレーニングを高速化する手法を提案する。

関連論文リスト

• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Automated Loss function Search for Class-imbalanced Node Classification [15.384438539835164]
  クラス不均衡ノード分類タスクは、現実世界のシナリオで一般的である。 この課題に対処するために,高性能でフレキシブルで汎用的な自動損失関数探索フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-05-23T03:12:49Z)
• What is Lost in Knowledge Distillation? [4.1205832766381985]
  ディープニューラルネットワーク(DNN)はNLPタスクを大幅に改善しているが、そのようなネットワークのトレーニングとメンテナンスにはコストがかかる可能性がある。 知識蒸留(KD)のようなモデル圧縮技術がこの問題に対処するために提案されている。 本研究は, 蒸留モデルが教師とどのように異なるか, 蒸留プロセスが何らかの情報損失を引き起こし, 損失が特定のパターンに従うかを検討する。
  論文  参考訳（メタデータ） (2023-11-07T17:13:40Z)
• Revisiting Class Imbalance for End-to-end Semi-Supervised Object Detection [1.6249267147413524]
  半教師付きオブジェクト検出(SSOD)は、擬似ラベルに基づくエンドツーエンド手法の開発において大きな進歩を遂げている。 多くの手法は、擬似ラベルジェネレータの有効性を妨げるクラス不均衡のため、課題に直面している。 本稿では,低品質な擬似ラベルの根本原因と,ラベル生成品質を改善するための新しい学習メカニズムについて検討する。
  論文  参考訳（メタデータ） (2023-06-04T06:01:53Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• Feature-domain Adaptive Contrastive Distillation for Efficient Single Image Super-Resolution [3.2453621806729234]
  CNNベースのSISRは、多くのパラメータと高い計算コストを持ち、より良い性能を実現している。 知識蒸留(KD)は教師の有用な知識を学生に伝達する。 本稿では,軽量なSISRネットワークを効率的に訓練するための特徴領域適応型コントラスト蒸留(FACD)手法を提案する。
  論文  参考訳（メタデータ） (2022-11-29T06:24:14Z)
• Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher [54.50747989860957]
  本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。 RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-05-28T07:47:53Z)
• Deep Structured Instance Graph for Distilling Object Detectors [82.16270736573176]
  本稿では,検出システム内の情報を利用して,検出知識の蒸留を容易にするための簡単な知識構造を提案する。 我々は,1段と2段の両方の検出器上で,多様な学生-教師ペアによるCOCOオブジェクト検出の課題に対して,新しい最先端の成果を達成した。
  論文  参考訳（メタデータ） (2021-09-27T08:26:00Z)
• Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
  スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。 微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。 その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
  論文  参考訳（メタデータ） (2021-03-25T10:23:30Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization [60.07531696857743]
  2つの目的の交互最小化によるDNNとソフトラベルの共学習 本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T17:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。