論文の概要: Teacher Network Calibration Improves Cross-Quality Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2304.07593v1
• Date: Sat, 15 Apr 2023 16:55:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 18:14:34.489508
• Title: Teacher Network Calibration Improves Cross-Quality Knowledge Distillation
• Title（参考訳）: 教師ネットワーク校正によるクロスクオリティ知識蒸留の改善
• Authors: Pia \v{C}uk, Robin Senge, Mikko Lauri, Simone Frintrop
• Abstract要約: クロスクオリティ・ナレッジ・蒸留(CQKD)は、教師ネットワークからの知識をフルレゾリューション・イメージで訓練した教師ネットワークから、入力された低レゾリューション・イメージを取り入れた学生ネットワークに転送する知識蒸留法である。 CQKDは大規模画像分類問題において教師あり学習よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.908421753758473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate cross-quality knowledge distillation (CQKD), a knowledge distillation method where knowledge from a teacher network trained with full-resolution images is transferred to a student network that takes as input low-resolution images. As image size is a deciding factor for the computational load of computer vision applications, CQKD notably reduces the requirements by only using the student network at inference time. Our experimental results show that CQKD outperforms supervised learning in large-scale image classification problems. We also highlight the importance of calibrating neural networks: we show that with higher temperature smoothing of the teacher's output distribution, the student distribution exhibits a higher entropy, which leads to both, a lower calibration error and a higher network accuracy.
• Abstract（参考訳）: 本研究では,教師ネットワークからの知識を高解像度画像として入力する学生ネットワークに伝達する知識蒸留法であるクロス品質知識蒸留(CQKD)について検討する。 画像サイズがコンピュータビジョンアプリケーションの計算負荷の決定要因であるため、CQKDは推論時にのみ学生ネットワークを使用することで要求を著しく削減する。 実験の結果,CQKDは大規模画像分類問題において教師あり学習よりも優れていた。 また,教師の出力分布を高い温度で平滑化させることで,生徒分布がより高いエントロピーを示し,キャリブレーションエラーの低減とネットワーク精度の向上という,ニューラルネットワークの校正の重要性を強調する。

関連論文リスト

• Continuous sign language recognition based on cross-resolution knowledge distillation [10.920363368754721]
  本稿では,教師ネットワークの出力と同一の規模でフレームレベルの特徴を出力するフレームレベルの特徴抽出器を提案する。 その後、クロスレゾリューションの知識蒸留法と伝統的な知識蒸留法を組み合わせてCSLRモデルを形成する。 2つの大規模連続手話データセットの実験によりCRKDの有効性が証明された。
  論文  参考訳（メタデータ） (2023-03-13T02:33:34Z)
• BD-KD: Balancing the Divergences for Online Knowledge Distillation [12.27903419909491]
  我々はBD-KD: オンライン知識蒸留のための多様性のバランスをとることを提案する。 逆発散と前方発散の適応的バランスは、訓練戦略の焦点をコンパクトな学生ネットワークにシフトさせることを示す。 本研究では,このバランス設計を学生蒸留損失のレベルで実施することにより,コンパクトな学生ネットワークの性能精度と校正性を両立させることを実証する。
  論文  参考訳（メタデータ） (2022-12-25T22:27:32Z)
• CES-KD: Curriculum-based Expert Selection for Guided Knowledge Distillation [4.182345120164705]
  本稿では,知識蒸留のためのカリキュラムエキスパート選択法(CES-KD)を提案する。 CES-KDは、階層化された教育カリキュラムを使用して学生ネットワークを徐々にガイドすべきという仮説に基づいている。 具体的には、画像の分類の難しさに起因したカリキュラムに基づいて、入力画像ごとに1人の教師を選択する段階的なTAベースのKD手法を提案する。
  論文  参考訳（メタデータ） (2022-09-15T21:02:57Z)
• Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
  単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-18T02:41:04Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Representation Evaluation Block-based Teacher-Student Network for the Industrial Quality-relevant Performance Modeling and Monitoring [5.909089256501503]
  品質関連故障検出のための改良型教師学生ネットワークに基づく故障検出手法を提案する。 従来の教師-学生ネットワークでは、教師ネットワークと学生ネットワークの特徴の違いが学生ネットワークのパフォーマンス低下を引き起こすためです。 不確実性モデリングは、この差異をモデリングプロセスに追加するために使用され、特徴の違いを減らし、学生ネットワークの性能を向上させるのに有用である。 提案手法はプロセス監視に適用され,プロセス関連部分空間と品質関連部分空間の障害を同時に検出する。
  論文  参考訳（メタデータ） (2021-01-20T05:40:44Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)
• Learning with Privileged Information for Efficient Image Super-Resolution [35.599731963795875]
  本稿では,FSRCNNの性能を大幅に向上させる,教員ネットワークと学生ネットワークからなる新しい蒸留フレームワークについて紹介する。 教師のエンコーダは、模倣損失を用いて劣化過程、HR画像のサブサンプリングを学習する。 FSRCNNと同じネットワークアーキテクチャを持つ教師の生徒とデコーダは、HR画像の再構築を試みる。
  論文  参考訳（メタデータ） (2020-07-15T07:44:18Z)
• Circumventing Outliers of AutoAugment with Knowledge Distillation [102.25991455094832]
  AutoAugmentは多くの視覚タスクの精度を向上させる強力なアルゴリズムである。 本論文は作業機構を深く掘り下げ,AutoAugmentがトレーニング画像から識別情報の一部を除去できることを明らかにする。 教師モデルの出力に言及した知識蒸留を用いて,ネットワークトレーニングの指導を行う。
  論文  参考訳（メタデータ） (2020-03-25T11:51:41Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。