論文の概要: Maximizing Discrimination Capability of Knowledge Distillation with
Energy-based Score
- arxiv url: http://arxiv.org/abs/2311.14334v1
- Date: Fri, 24 Nov 2023 08:16:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 15:35:24.378008
- Title: Maximizing Discrimination Capability of Knowledge Distillation with
Energy-based Score
- Title（参考訳）: エネルギーベーススコアによる知識蒸留の識別能力の最大化
- Authors: Seonghak Kim, Gyeongdo Ham, Suin Lee, Donggon Jang, and Daeshik Kim
- Abstract要約: 本稿では,コンピュータビジョン技術のためのエネルギーベースの知識蒸留手法を提案する。
我々は,Energy KDが様々なデータセット上で優れた性能を発揮することを示す。
また,性能向上のための高エネルギーデータ拡張(HE-DA)を提案する。
- 参考スコア（独自算出の注目度）: 12.615509935080436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To apply the latest computer vision techniques that require a large
computational cost in real industrial applications, knowledge distillation
methods (KDs) are essential. Existing logit-based KDs apply the constant
temperature scaling to all samples in dataset, limiting the utilization of
knowledge inherent in each sample individually. In our approach, we classify
the dataset into two categories (i.e., low energy and high energy samples)
based on their energy score. Through experiments, we have confirmed that low
energy samples exhibit high confidence scores, indicating certain predictions,
while high energy samples yield low confidence scores, meaning uncertain
predictions. To distill optimal knowledge by adjusting non-target class
predictions, we apply a higher temperature to low energy samples to create
smoother distributions and a lower temperature to high energy samples to
achieve sharper distributions. When compared to previous logit-based and
feature-based methods, our energy-based KD (Energy KD) achieves better
performance on various datasets. Especially, Energy KD shows significant
improvements on CIFAR-100-LT and ImageNet datasets, which contain many
challenging samples. Furthermore, we propose high energy-based data
augmentation (HE-DA) for further improving the performance. We demonstrate that
meaningful performance improvement could be achieved by augmenting only 20-50%
of dataset, suggesting that it can be employed on resource-limited devices. To
the best of our knowledge, this paper represents the first attempt to make use
of energy scores in KD and DA, and we believe it will greatly contribute to
future research.
- Abstract（参考訳）: 実産業で大きな計算コストを必要とする最新のコンピュータビジョン技術を適用するためには,知識蒸留法(kds)が不可欠である。
既存のlogitベースのkdsは、データセット内のすべてのサンプルに一定の温度スケーリングを適用し、各サンプルに固有の知識の利用を制限する。
提案手法では,データセットをエネルギースコアに基づいて2つのカテゴリ(低エネルギーと高エネルギーのサンプル)に分類する。
実験により,低エネルギー試料は高い信頼度を示し,特定の予測値を示し,高エネルギー試料は低い信頼度スコアを生じることを確認した。
非目標クラス予測を調整して最適な知識を蒸留するために,低エネルギー試料に高温を施し,より滑らかな分布と低い温度を高エネルギー試料に適用し,より鋭い分布を実現する。
従来のロジットベースの手法や特徴ベースの手法と比較して、エネルギーベースのKD(Energy KD)は、様々なデータセット上でより良いパフォーマンスを実現する。
特に、エネルギkdは、多くの困難なサンプルを含むcifar-100-ltとimagenetデータセットを大幅に改善している。
さらに,性能向上のための高エネルギーデータ拡張(HE-DA)を提案する。
我々は,20～50%のデータセットを拡張すれば有意義な性能改善が可能であり,リソース制限されたデバイスで使用できることを示唆する。
我々の知る限り、本稿はKDとDAでエネルギースコアを活用しようとする最初の試みであり、今後の研究に大きく貢献すると信じている。
関連論文リスト
- Just In Time Transformers [2.7350304370706797]
JITtransは,エネルギー消費予測精度を大幅に向上させる,トランスフォーマー深層学習モデルである。
本研究は, エネルギー管理を革新し, 持続可能な電力システムを構築するための先進的な予測技術の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2024-10-22T10:33:00Z) - A Closer Look at Data Augmentation Strategies for Finetuning-Based Low/Few-Shot Object Detection [5.434078645728145]
本稿では、カスタムデータ拡張のモデル性能とエネルギー効率の両立と自動データ拡張選択戦略について検討する。
多くの場合、データ拡張戦略の性能向上は、そのエネルギー使用量の増加によって、過度に隠蔽されていることが示されている。
論文 参考訳（メタデータ） (2024-08-20T15:29:56Z) - Unveiling Energy Efficiency in Deep Learning: Measurement, Prediction, and Scoring across Edge Devices [8.140572894424208]
我々はエネルギー測定、予測、効率評価を含む3倍の研究を行う。
まず、デバイス上での深層学習のエネルギー消費特性を明らかにするための、第1級の詳細な測定結果を示す。
第2に、カーネルレベルのエネルギーデータセットに基づいて、エッジデバイスのための最初のカーネルレベルのエネルギー予測器を設計、実装する。
論文 参考訳（メタデータ） (2023-10-19T23:55:00Z) - Energy Efficient Deep Multi-Label ON/OFF Classification of Low Frequency Metered Home Appliances [0.16777183511743468]
非侵入負荷監視(Non-Inrusive Load Monitoring、NILM)は、単一計測点からアプライアンスレベルのデータを取得するプロセスである。
本稿では,NILMのマルチラベル分類を改良した新しいDLモデルを提案する。
最先端モデルと比較して、提案モデルではエネルギー消費を23%以上削減している。
論文 参考訳（メタデータ） (2023-07-18T13:23:23Z) - Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。
蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。
蒸留における因果関係から最も寄与した試料を見出した。
論文 参考訳（メタデータ） (2023-05-28T06:53:41Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - Semantic Driven Energy based Out-of-Distribution Detection [0.4640835690336652]
エネルギーベースのOOD法は有望であり、優れた性能を発揮することが証明されている。
本稿では,エンドツーエンドのトレーニングシステムであり,最適化が容易なセマンティックなエネルギーベース手法を提案する。
その結果,我々の新しい手法は,一般的なベンチマーク上でのエネルギーベースモデルとして,外乱検出を強化し,最先端のモデルを実現する。
論文 参考訳（メタデータ） (2022-08-23T07:40:34Z) - Data augmentation for learning predictive models on EEG: a systematic
comparison [79.84079335042456]
脳波(EEG)分類タスクの深層学習は、ここ数年急速に増加している。
EEG分類タスクのディープラーニングは、比較的小さなEEGデータセットによって制限されている。
データ拡張は、コンピュータビジョンや音声などのアプリケーションにまたがる最先端のパフォーマンスを得るために重要な要素となっている。
論文 参考訳（メタデータ） (2022-06-29T09:18:15Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳（メタデータ） (2022-03-03T05:58:49Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳（メタデータ） (2020-11-03T07:49:15Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。