論文の概要: Isotonic Data Augmentation for Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2107.01412v2
- Date: Tue, 6 Jul 2021 05:39:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-09 06:08:37.725863
- Title: Isotonic Data Augmentation for Knowledge Distillation
- Title(参考訳): 知識蒸留のための等速データ拡張
- Authors: Wanyun Cui, Sen Yan
- Abstract要約: 拡張サンプルではハードラベルとソフトラベルの間に重要な順序違反が認められる。
真のソフトラベルは通常、$P_textsoft(tiger|x)>P_textsoft(cat|x)$のような順序に反する。
我々は、注文違反を取り除くために、統計学の古典的なテクニックであるイソトニック回帰(IR)を使用します。
- 参考スコア(独自算出の注目度): 2.1248439796866228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation uses both real hard labels and soft labels predicted
by teacher models as supervision. Intuitively, we expect the soft labels and
hard labels to be concordant w.r.t. their orders of probabilities. However, we
found critical order violations between hard labels and soft labels in
augmented samples. For example, for an augmented sample $x=0.7*panda+0.3*cat$,
we expect the order of meaningful soft labels to be
$P_\text{soft}(panda|x)>P_\text{soft}(cat|x)>P_\text{soft}(other|x)$. But real
soft labels usually violate the order, e.g.
$P_\text{soft}(tiger|x)>P_\text{soft}(panda|x)>P_\text{soft}(cat|x)$. We
attribute this to the unsatisfactory generalization ability of the teacher,
which leads to the prediction error of augmented samples. Empirically, we found
the violations are common and injure the knowledge transfer. In this paper, we
introduce order restrictions to data augmentation for knowledge distillation,
which is denoted as isotonic data augmentation (IDA). We use isotonic
regression (IR) -- a classic technique from statistics -- to eliminate the
order violations. We show that IDA can be modeled as a tree-structured IR
problem. We thereby adapt the classical IRT-BIN algorithm for optimal solutions
with $O(c \log c)$ time complexity, where $c$ is the number of labels. In order
to further reduce the time complexity, we also propose a GPU-friendly
approximation with linear time complexity. We have verified on variant datasets
and data augmentation techniques that our proposed IDA algorithms effectively
increases the accuracy of knowledge distillation by eliminating the rank
violations.
- Abstract(参考訳): 知識蒸留は教師モデルによって予測される本物のハードラベルとソフトラベルの両方を監督する。
直感的には、ソフトラベルとハードラベルはw.r.t.と一致している。
確率の命令だ
しかし,拡張サンプルでは,ハードラベルとソフトラベルの臨界順序違反が確認された。
例えば、$x=0.7*panda+0.3*cat$の場合、意味のあるソフトラベルの順序は$P_\text{soft}(panda|x)>P_\text{soft}(cat|x)>P_\text{soft}(other|x)$と期待する。
しかし、実際のソフトレーベルは通常、注文に違反する。
P_\text{soft}(tiger|x)>P_\text{soft}(panda|x)>P_\text{soft}(cat|x)$
これは教師の満足のいく一般化能力に起因し、強化サンプルの予測誤差につながる。
経験的に、違反は一般的であり、知識伝達を損なうことがわかりました。
本稿では,isotonic data augmentation (ida) と表記される知識蒸留のためのデータ拡張に関する順序制限を導入する。
isotonic regression (ir) -- 統計学の古典的なテクニック -- を使用して、順序違反を排除します。
IDAは木構造IR問題としてモデル化可能であることを示す。
したがって、従来のIRT-BINアルゴリズムを$O(c \log c)$時間複雑性の最適解に適用し、$c$はラベルの数である。
時間複雑性をさらに低減するために,線形時間複雑性を持つGPUフレンドリな近似も提案する。
提案するidaアルゴリズムが, ランク違反を除去し, 知識蒸留の精度を効果的に向上させることを示す, 変種データセットとデータ拡張手法について検証した。
関連論文リスト
- Mitigating Shortcuts in Language Models with Soft Label Encoding [39.601442154096986]
近年の研究では、大きな言語モデルは自然言語理解(NLU)タスクのデータに急激な相関に依存することが示されている。
我々は,ソフトラベル(Soft Label)という,シンプルで効果的な脱バイアスフレームワークを提案する。
2つのNLUベンチマークタスクの実験により、SoftLEは分布外一般化を大幅に改善することが示された。
論文 参考訳(メタデータ) (2023-09-17T21:18:02Z) - Boosting Commit Classification with Contrastive Learning [0.8655526882770742]
コミット分類(CC)は、ソフトウェアのメンテナンスにおいて重要なタスクである。
対照的な学習に基づくコミット分類フレームワークを提案する。
われわれのフレームワークはCCの問題をシンプルに解決できるが、スプリットショットのシナリオでは効果的に解決できる。
論文 参考訳(メタデータ) (2023-08-16T10:02:36Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳(メタデータ) (2023-05-31T03:01:36Z) - How Does Pseudo-Labeling Affect the Generalization Error of the
Semi-Supervised Gibbs Algorithm? [73.80001705134147]
擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。
ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
論文 参考訳(メタデータ) (2022-10-15T04:11:56Z) - Learning with an Evolving Class Ontology [82.89062737922869]
生涯学習者は時間とともに進化する概念を認識する必要がある。
あまり探索されていない一般的なシナリオは、古いクラスを洗練/拡張するラベルで学習することです。
論文 参考訳(メタデータ) (2022-10-10T19:58:23Z) - Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
ノイズラベルを用いた学習では,差分を増大させる必要がある。
ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。
実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
論文 参考訳(メタデータ) (2022-01-30T06:19:08Z) - Efficient Algorithms for Learning from Coarse Labels [27.673457791289195]
我々は、きめ細かいラベルの代わりに粗いラベルを観察するために設定を形式化する。
我々のアルゴリズムの主な結果は、基本的にはきめ細かいラベルから学べるどんな問題でも効率的に学習できるということです。
また、検閲された統計学における中心的な問題に焦点を当てた実ラベル(無数)の事例についても検討する。
論文 参考訳(メタデータ) (2021-08-22T18:01:39Z) - Corruption Robust Active Learning [43.279169081740726]
我々は、未知の逆ラベル汚職下でのバイナリ分類のためのストリーミングに基づくアクティブラーニングに関する理論的研究を行う。
本稿では, 従来のロバストCALフレームワークは, 破損しない場合と同様のラベル複雑性を保証できることを示す。
本稿では, 汚職の有無を仮定することなく, 確実に正しい新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-21T16:06:38Z) - Active WeaSuL: Improving Weak Supervision with Active Learning [2.624902795082451]
アクティブラーニングを弱い監督に組み込んだアプローチであるActive WeaSuLを提案します。
我々は,1) 弱いラベルの組み合わせを通知し改善する弱監督損失関数の修正,2) 専門家ラベルがどのデータポイントに最も有用かを決定するmaxKL分散サンプリング戦略,の2つの貢献を行う。
論文 参考訳(メタデータ) (2021-04-30T08:58:26Z) - Least Squares Regression with Markovian Data: Fundamental Limits and
Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。
この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。
本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-16T04:26:50Z) - Towards Discriminability and Diversity: Batch Nuclear-norm Maximization
under Label Insufficient Situations [154.51144248210338]
Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。
BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
論文 参考訳(メタデータ) (2020-03-27T05:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。