論文の概要: Circumventing Outliers of AutoAugment with Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2003.11342v1
• Date: Wed, 25 Mar 2020 11:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 03:34:10.355949
• Title: Circumventing Outliers of AutoAugment with Knowledge Distillation
• Title（参考訳）: 知識蒸留によるオートオージメントの異常回避
• Authors: Longhui Wei, An Xiao, Lingxi Xie, Xin Chen, Xiaopeng Zhang, Qi Tian
• Abstract要約: AutoAugmentは多くの視覚タスクの精度を向上させる強力なアルゴリズムである。 本論文は作業機構を深く掘り下げ,AutoAugmentがトレーニング画像から識別情報の一部を除去できることを明らかにする。 教師モデルの出力に言及した知識蒸留を用いて,ネットワークトレーニングの指導を行う。
• 参考スコア（独自算出の注目度）: 102.25991455094832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AutoAugment has been a powerful algorithm that improves the accuracy of many vision tasks, yet it is sensitive to the operator space as well as hyper-parameters, and an improper setting may degenerate network optimization. This paper delves deep into the working mechanism, and reveals that AutoAugment may remove part of discriminative information from the training image and so insisting on the ground-truth label is no longer the best option. To relieve the inaccuracy of supervision, we make use of knowledge distillation that refers to the output of a teacher model to guide network training. Experiments are performed in standard image classification benchmarks, and demonstrate the effectiveness of our approach in suppressing noise of data augmentation and stabilizing training. Upon the cooperation of knowledge distillation and AutoAugment, we claim the new state-of-the-art on ImageNet classification with a top-1 accuracy of 85.8%.
• Abstract（参考訳）: AutoAugmentは多くの視覚タスクの精度を向上させる強力なアルゴリズムであるが、演算子空間だけでなくハイパーパラメータにも敏感であり、不適切な設定はネットワーク最適化を退避させる可能性がある。 本論文は,作業機構を深く掘り下げ,自己紹介がトレーニング画像から識別情報の一部を取り除き,接地ラベルを主張することがもはや最善の選択肢ではないことを明らかにした。 教師モデルの出力に言及した知識蒸留を用いて,ネットワークトレーニングの指導を行う。 標準画像分類ベンチマークにおいて実験を行い、データ拡張のノイズ抑制と安定化訓練におけるアプローチの有効性を実証した。 知識蒸留とAutoAugmentの協力により、ImageNetの新たな最先端の分類を85.8%の精度で主張する。

関連論文リスト

• Explainable Light-Weight Deep Learning Pipeline for Improved Drought Stress Identification [0.0]
  作物の干ばつストレスの早期同定は、効果的な緩和対策と収量損失の低減に不可欠である。 本研究は,UAVが自然環境下で捕獲したジャガイモの干ばつストレスを分類するための,新しいディープラーニングフレームワークを提案する。 私たちの研究の重要な革新は、説明可能性のテクニックであるグラディエントクラスの活性化マッピング(Grad-CAM)の統合です。
  論文  参考訳（メタデータ） (2024-04-15T18:26:03Z)
• TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation [6.856317526681759]
  視覚的位置認識は、移動ロボットの自律的な探索とナビゲーションにおいて重要な役割を果たす。 既存の手法では、強力だが大規模なネットワークを利用することでこれを克服している。 本稿では,TSCMと呼ばれる高性能な教師と軽量な学生蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-02T02:29:41Z)
• Efficient Visual Fault Detection for Freight Train Braking System via Heterogeneous Self Distillation in the Wild [8.062167870951706]
  本稿では,検出精度と速度を確保するため,不均一な自己蒸留フレームワークを提案する。 我々は,学習効率を向上させるために,ラベル付近の値にネットワークを集中させる新たな損失関数を用いる。 我々のフレームワークは毎秒37フレーム以上を達成でき、従来の蒸留法と比較して高い精度を維持することができる。
  論文  参考訳（メタデータ） (2023-07-03T01:27:39Z)
• Maximum Likelihood Distillation for Robust Modulation Classification [50.51144496609274]
  我々は、より堅牢なAMCシステムを構築するために、知識蒸留のアイデアと敵の訓練に基づいて構築する。 オフライン環境でのAMC問題を解消し,より優れたトレーニングラベルを生成するためのMaximum Likelihood関数を提案する。
  論文  参考訳（メタデータ） (2022-11-01T21:06:11Z)
• Boosting Facial Expression Recognition by A Semi-Supervised Progressive Teacher [54.50747989860957]
  本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。 RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-05-28T07:47:53Z)
• Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
  スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。 微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。 その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
  論文  参考訳（メタデータ） (2021-03-25T10:23:30Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。