論文の概要: KDCTime: Knowledge Distillation with Calibration on InceptionTime for
Time-series Classification
- arxiv url: http://arxiv.org/abs/2112.02291v1
- Date: Sat, 4 Dec 2021 09:26:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-10 06:52:29.443590
- Title: KDCTime: Knowledge Distillation with Calibration on InceptionTime for
Time-series Classification
- Title（参考訳）: kdctime:時系列分類のためのインセプション時間校正付き知識蒸留
- Authors: Xueyuan Gong, Yain-Whar Si, Yongqi Tian, Cong Lin, Xinyuan Zhang, and
Xiaoxiang Liu
- Abstract要約: ディープニューラルネットワークに基づく時系列分類アプローチは、UCRデータセットに過度に適合することが容易である。
InceptionTime (LSTime) のためのラベル平滑化を提案する。
次に、教師モデルによりソフトラベルを自動的に生成するために、インセプションタイムのための知識蒸留(KDTime)を提案する。
- 参考スコア（独自算出の注目度）: 6.222768361917715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time-series classification approaches based on deep neural networks are easy
to be overfitting on UCR datasets, which is caused by the few-shot problem of
those datasets. Therefore, in order to alleviate the overfitting phenomenon for
further improving the accuracy, we first propose Label Smoothing for
InceptionTime (LSTime), which adopts the information of soft labels compared to
just hard labels. Next, instead of manually adjusting soft labels by LSTime,
Knowledge Distillation for InceptionTime (KDTime) is proposed in order to
automatically generate soft labels by the teacher model. At last, in order to
rectify the incorrect predicted soft labels from the teacher model, Knowledge
Distillation with Calibration for InceptionTime (KDCTime) is proposed, where it
contains two optional calibrating strategies, i.e. KDC by Translating (KDCT)
and KDC by Reordering (KDCR). The experimental results show that the accuracy
of KDCTime is promising, while its inference time is two orders of magnitude
faster than ROCKET with an acceptable training time overhead.
- Abstract（参考訳）: ディープニューラルネットワークに基づく時系列分類アプローチは、これらのデータセットの少数ショット問題に起因する、UCRデータセットに過度に適合することが容易である。
そこで本研究では,より精度を向上させるために過剰フィッティング現象を緩和するために,ソフトラベルの情報をハードラベルに置き換えたインセプションタイム(lstime)のラベル平滑化を提案する。
次に、LSTimeでソフトラベルを手動で調整する代わりに、教師モデルでソフトラベルを自動的に生成するために、インセプションタイムのための知識蒸留(KDTime)を提案する。
最後に,教師モデルから誤った予測ソフトラベルを修正するために,KDCTime (Knowledge Distillation with Calibration for InceptionTime) を提案し,KDC by Translating (KDCT) とKDC by Reordering (KDCR) の2つのオプション校正戦略を含む。
実験の結果,KDCTimeの精度は期待できるが,推定時間はROCKETよりも2桁高速であり,トレーニング時間オーバーヘッドも許容できることがわかった。
関連論文リスト
- CSOT: Curriculum and Structure-Aware Optimal Transport for Learning with
Noisy Labels [13.807759089431855]
ノイズラベル(LNL)による学習は、十分に一般化されたモデルのトレーニングにおいて重要な課題となる。
近年の進歩は、クリーンなラベルと、トレーニングのための破損したラベルを識別することで、印象的なパフォーマンスを実現している。
我々は、CSOT(Curriculum and Structure-Aware Optimal Transport)と呼ばれる新しい最適輸送(OT)の定式化を提案する。
論文 参考訳（メタデータ） (2023-12-11T09:12:50Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳（メタデータ） (2023-07-25T14:40:11Z) - ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。
本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。
次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
論文 参考訳（メタデータ） (2023-06-04T02:55:25Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - Automated Label Generation for Time Series Classification with
Representation Learning: Reduction of Label Cost for Training [16.287885535569067]
本稿では,ラベルの自動生成手法を提案する。
提案手法は,Auto Encoded Compact Sequence を用いた表現学習に基づいている。
潜伏構造を学習し、また、代表的時系列を合成的に増強することで、反復的に自己ラベル化を行う。
論文 参考訳（メタデータ） (2021-07-12T14:28:40Z) - Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。
ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。
SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文 参考訳（メタデータ） (2021-02-25T14:56:19Z) - Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。
ラベル修正戦略はこの問題を軽減するために一般的に用いられる。
メタ学習モデルを提案する。
論文 参考訳（メタデータ） (2020-08-03T03:25:17Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳（メタデータ） (2020-07-01T04:48:49Z) - COLAM: Co-Learning of Deep Neural Networks and Soft Labels via
Alternating Minimization [60.07531696857743]
2つの目的の交互最小化によるDNNとソフトラベルの共学習
本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-26T17:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。