論文の概要: Rethinking Data Distillation: Do Not Overlook Calibration
- arxiv url: http://arxiv.org/abs/2307.12463v3
- Date: Thu, 14 Sep 2023 18:41:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 17:54:32.407391
- Title: Rethinking Data Distillation: Do Not Overlook Calibration
- Title（参考訳）: データ蒸留再考:キャリブレーションを見過ごさない
- Authors: Dongyao Zhu, Bowen Lei, Jie Zhang, Yanbo Fang, Ruqi Zhang, Yiqun Xie,
Dongkuan Xu
- Abstract要約: 蒸留されたデータは, (i) 最大ロジットのより集中的な分布と (ii) 意味論的だが分類タスクとは無関係な情報の喪失により, 校正不能なネットワークにつながることを示す。
本研究では, 蒸留データの限界を緩和し, キャリブレーションの精度を向上するMasked Temperature Scaling (MTS) と Masked Distillation Training (MDT) を提案する。
- 参考スコア（独自算出の注目度）: 26.71428572752137
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural networks trained on distilled data often produce over-confident output
and require correction by calibration methods. Existing calibration methods
such as temperature scaling and mixup work well for networks trained on
original large-scale data. However, we find that these methods fail to
calibrate networks trained on data distilled from large source datasets. In
this paper, we show that distilled data lead to networks that are not
calibratable due to (i) a more concentrated distribution of the maximum logits
and (ii) the loss of information that is semantically meaningful but unrelated
to classification tasks. To address this problem, we propose Masked Temperature
Scaling (MTS) and Masked Distillation Training (MDT) which mitigate the
limitations of distilled data and achieve better calibration results while
maintaining the efficiency of dataset distillation.
- Abstract（参考訳）: 蒸留データに基づいてトレーニングされたニューラルネットワークは、しばしば過信出力を生成し、校正法による補正を必要とする。
温度スケーリングやミックスアップといった既存のキャリブレーション手法は、元の大規模データでトレーニングされたネットワークに対してうまく機能する。
しかし,これらの手法は,大規模なデータセットから抽出したデータに基づいてトレーニングされたネットワークの校正に失敗する。
本稿では, 蒸留したデータが, 校正不能なネットワークにつながることを示す。
(i)最大ロジット及び最大ロジットのより集中した分布
(ii)意味的に意味があるが分類課題とは無関係な情報の喪失。
この問題を解決するために, 蒸留データの限界を緩和し, データセット蒸留の効率を維持しつつ, キャリブレーションの精度を向上するMasked Temperature Scaling (MTS) と Masked Distillation Training (MDT) を提案する。
関連論文リスト
- Dataset Distillation via Knowledge Distillation: Towards Efficient Self-Supervised Pre-Training of Deep Networks [10.932880269282014]
SSL事前トレーニングのための最初の有効なDD法を提案する。
具体的には、SSLでトレーニングされたより大きな教師モデルの表現に合わせるために、小さな学生モデルを訓練する。
KDの目的はSSLよりもかなり分散度が低いため、我々の手法は、高品質エンコーダの事前訓練に成功できる合成データセットを生成することができる。
論文 参考訳（メタデータ） (2024-10-03T00:39:25Z) - Improving Calibration by Relating Focal Loss, Temperature Scaling, and Properness [1.9055459597116435]
クロスエントロピーは、訓練データに基づいてよく校正されたクラス確率を生成するために分類器をインセンティブ化する。
焦点損失を信頼性向上変換と適切な損失に分解できることを示す。
焦点温度のスケーリング - 焦点温度のキャリブレーションと温度のスケーリングを組み合わせた新しいポストホックキャリブレーション法を提案する。
論文 参考訳（メタデータ） (2024-08-21T13:10:44Z) - Towards Adversarially Robust Dataset Distillation by Curvature Regularization [11.463315774971857]
蒸留したデータセットに対向ロバスト性を組み込むことで、これらのデータセットでトレーニングされたモデルが高い精度を維持し、より良い対向ロバスト性を得る。
そこで本研究では, 従来の逆算法よりも計算オーバーヘッドの少ない蒸留プロセスに曲率正規化を組み込むことにより, この目標を達成する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-15T06:31:03Z) - Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。
データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。
本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
論文 参考訳（メタデータ） (2024-01-29T03:29:39Z) - Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。
蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。
蒸留における因果関係から最も寄与した試料を見出した。
論文 参考訳（メタデータ） (2023-05-28T06:53:41Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳（メタデータ） (2022-11-20T15:49:11Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳（メタデータ） (2022-07-13T14:13:49Z) - Learning to Generate Synthetic Training Data using Gradient Matching and
Implicit Differentiation [77.34726150561087]
本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。
近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
論文 参考訳（メタデータ） (2022-03-16T11:45:32Z) - Uncertainty Quantification and Deep Ensembles [79.4957965474334]
ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。
そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。
このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
論文 参考訳（メタデータ） (2020-07-17T07:32:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。