論文の概要: Isotonic Data Augmentation for Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2107.01412v1
- Date: Sat, 3 Jul 2021 11:34:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 08:18:54.693015
- Title: Isotonic Data Augmentation for Knowledge Distillation
- Title（参考訳）: 知識蒸留のための等速データ拡張
- Authors: Wanyun Cui, Sen Yan
- Abstract要約: 知識蒸留は教師モデルによって予測される本物のハードラベルとソフトラベルの両方を監督する。
強化試料中の硬質ラベルと軟質ラベルとの間には「臨界秩序違反」が認められた。
本稿では, アイソトニックデータ拡張 (IDA) と表記される知識蒸留におけるデータ拡張に対する順序制限を導入する。
- 参考スコア（独自算出の注目度）: 2.1248439796866228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation uses both real hard labels and soft labels predicted
by teacher models as supervision. Intuitively, we expect the soft labels and
hard labels to be concordant w.r.t. their orders of probabilities. However, we
found {\it critical order violations} between hard labels and soft labels in
augmented samples. For example, for an augmented sample $x=0.7*panda+0.3*cat$,
we expect the order of meaningful soft labels to be
$P_\text{soft}(panda|x)>P_\text{soft}(cat|x)>P_\text{soft}(other|x)$. But real
soft labels usually violate the order, e.g.
$P_\text{soft}(tiger|x)>P_\text{soft}(panda|x)>P_\text{soft}(cat|x)$. We
attribute this to the unsatisfactory generalization ability of the teacher,
which leads to the prediction error of augmented samples. Empirically, we found
the violations are common and injure the knowledge transfer.In this paper, we
introduce order restrictions to data augmentation for knowledge distillation,
which is denoted as isotonic data augmentation (IDA). We use isotonic
regression (IR) -- a classic technique from statistics -- to eliminate the
order violations. We show that IDA can be modeled as a tree-structured IR
problem. We thereby adapt the classical IRT-BIN algorithm for optimal solutions
with $O(c \log c)$ time complexity, where $c$ is the number of labels. In order
to further reduce the time complexity, we also \cwy{propose} a GPU-friendly
approximation with linear time complexity. We have verified on variant datasets
and data augmentation techniques that our proposed IDA algorithms effectively
increases the accuracy of knowledge distillation by eliminating the rank
violations.
- Abstract（参考訳）: 知識蒸留は教師モデルによって予測される本物のハードラベルとソフトラベルの両方を監督する。
直感的には、ソフトラベルとハードラベルはw.r.t.と一致している。
確率の命令だ
しかし,拡張サンプルでは,ハードラベルとソフトラベルの「臨界順序違反」が検出された。
例えば、$x=0.7*panda+0.3*cat$の場合、意味のあるソフトラベルの順序は$P_\text{soft}(panda|x)>P_\text{soft}(cat|x)>P_\text{soft}(other|x)$と期待する。
しかし、実際のソフトレーベルは通常、注文に違反する。
P_\text{soft}(tiger|x)>P_\text{soft}(panda|x)>P_\text{soft}(cat|x)$
これは教師の満足のいく一般化能力に起因し、強化サンプルの予測誤差につながる。
経験的に, 侵害が一般的であり, 知識伝達を損なうことが判明した。本論文では, 知識蒸留のためのデータ拡張に順序制限を導入し, 等張的データ拡張 (ida) と表記する。
isotonic regression (ir) -- 統計学の古典的なテクニック -- を使用して、順序違反を排除します。
IDAは木構造IR問題としてモデル化可能であることを示す。
したがって、従来のIRT-BINアルゴリズムを$O(c \log c)$時間複雑性の最適解に適用し、$c$はラベルの数である。
時間の複雑さをさらに減らすために、リニアな時間複雑性を持つgpuフレンドリーな近似である \cwy{propose} も提案する。
提案するidaアルゴリズムが, ランク違反を除去し, 知識蒸留の精度を効果的に向上させることを示す, 変種データセットとデータ拡張手法について検証した。
関連論文リスト
- Annotation Efficiency: Identifying Hard Samples via Blocked Sparse Linear Bandits [23.329605738829947]
本稿では,ラベル・スカース・セッティングにおいて,少数のアノテーションラウンドしか持たない専門家によるアノテートデータポイントの問題について考察する。
そこで本稿では,データポイントの注釈付けの難しさに対する信頼性の高いフィードバックを,基礎的な真理ラベルに加えて専門家に提案する。
論文 参考訳（メタデータ） (2024-10-26T01:42:03Z) - Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。
我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - ASTRA: Accurate and Scalable ANNS-based Training of Extreme Classifiers [13.633871625193882]
高精度でスケーラブルなExtreme分類アルゴリズムASTRAを開発した。
ASTRAはSOTA精度を達成し、トレーニング時間を第2のベストに対して4倍から15倍に短縮する。
論文 参考訳（メタデータ） (2024-09-30T10:07:28Z) - Fast Rates for Bandit PAC Multiclass Classification [73.17969992976501]
我々は,帯域幅フィードバックを用いたマルチクラスPAC学習について検討し,入力を$K$ラベルの1つに分類し,予測されたラベルが正しいか否かに制限する。
我々の主な貢献は、問題の無知な$(varepsilon,delta)$PACバージョンのための新しい学習アルゴリズムを設計することである。
論文 参考訳（メタデータ） (2024-06-18T08:54:04Z) - Retraining with Predicted Hard Labels Provably Increases Model Accuracy [77.71162068832108]
リトレーニングは、与えられた(ノイズの多い)ラベルで最初にトレーニングすることで得られる人口の精度を向上させることができる。
予測ラベルが与えられたラベルにマッチするサンプルを選択的にリトレーニングすることで、ラベルDP訓練が大幅に改善されることを実証的に示す。
論文 参考訳（メタデータ） (2024-06-17T04:53:47Z) - Mitigating Shortcuts in Language Models with Soft Label Encoding [39.601442154096986]
近年の研究では、大きな言語モデルは自然言語理解(NLU)タスクのデータに急激な相関に依存することが示されている。
我々は,ソフトラベル(Soft Label)という,シンプルで効果的な脱バイアスフレームワークを提案する。
2つのNLUベンチマークタスクの実験により、SoftLEは分布外一般化を大幅に改善することが示された。
論文 参考訳（メタデータ） (2023-09-17T21:18:02Z) - Label-Retrieval-Augmented Diffusion Models for Learning from Noisy
Labels [61.97359362447732]
ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。
本稿では,生成モデルの観点からラベルノイズ問題を再構成する。
我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
論文 参考訳（メタデータ） (2023-05-31T03:01:36Z) - Do We Need to Penalize Variance of Losses for Learning with Label Noise? [91.38888889609002]
ノイズラベルを用いた学習では,差分を増大させる必要がある。
ラベルノイズ遷移行列を利用することで、正規化器は損失の分散を低減することができる。
実験的に,損失の分散を増大させることにより,合成データセットと実世界のデータセットのベースラインの一般化能力を大幅に向上させる。
論文 参考訳（メタデータ） (2022-01-30T06:19:08Z) - Efficient Algorithms for Learning from Coarse Labels [27.673457791289195]
我々は、きめ細かいラベルの代わりに粗いラベルを観察するために設定を形式化する。
我々のアルゴリズムの主な結果は、基本的にはきめ細かいラベルから学べるどんな問題でも効率的に学習できるということです。
また、検閲された統計学における中心的な問題に焦点を当てた実ラベル(無数)の事例についても検討する。
論文 参考訳（メタデータ） (2021-08-22T18:01:39Z) - Active WeaSuL: Improving Weak Supervision with Active Learning [2.624902795082451]
アクティブラーニングを弱い監督に組み込んだアプローチであるActive WeaSuLを提案します。
我々は,1) 弱いラベルの組み合わせを通知し改善する弱監督損失関数の修正,2) 専門家ラベルがどのデータポイントに最も有用かを決定するmaxKL分散サンプリング戦略,の2つの貢献を行う。
論文 参考訳（メタデータ） (2021-04-30T08:58:26Z) - Towards Discriminability and Diversity: Batch Nuclear-norm Maximization
under Label Insufficient Situations [154.51144248210338]
Batch Nuclear-norm Maximization (BNM) は、学習シナリオのラベルが不十分な場合の学習を促進するために提案されている。
BNMはライバルより優れており、既存のよく知られた手法でうまく機能する。
論文 参考訳（メタデータ） (2020-03-27T05:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。