論文の概要: KDCTime: Knowledge Distillation with Calibration on InceptionTime for
Time-series Classification
- arxiv url: http://arxiv.org/abs/2112.02291v1
- Date: Sat, 4 Dec 2021 09:26:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-10 06:52:29.443590
- Title: KDCTime: Knowledge Distillation with Calibration on InceptionTime for
Time-series Classification
- Title(参考訳): kdctime:時系列分類のためのインセプション時間校正付き知識蒸留
- Authors: Xueyuan Gong, Yain-Whar Si, Yongqi Tian, Cong Lin, Xinyuan Zhang, and
Xiaoxiang Liu
- Abstract要約: ディープニューラルネットワークに基づく時系列分類アプローチは、UCRデータセットに過度に適合することが容易である。
InceptionTime (LSTime) のためのラベル平滑化を提案する。
次に、教師モデルによりソフトラベルを自動的に生成するために、インセプションタイムのための知識蒸留(KDTime)を提案する。
- 参考スコア(独自算出の注目度): 6.222768361917715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time-series classification approaches based on deep neural networks are easy
to be overfitting on UCR datasets, which is caused by the few-shot problem of
those datasets. Therefore, in order to alleviate the overfitting phenomenon for
further improving the accuracy, we first propose Label Smoothing for
InceptionTime (LSTime), which adopts the information of soft labels compared to
just hard labels. Next, instead of manually adjusting soft labels by LSTime,
Knowledge Distillation for InceptionTime (KDTime) is proposed in order to
automatically generate soft labels by the teacher model. At last, in order to
rectify the incorrect predicted soft labels from the teacher model, Knowledge
Distillation with Calibration for InceptionTime (KDCTime) is proposed, where it
contains two optional calibrating strategies, i.e. KDC by Translating (KDCT)
and KDC by Reordering (KDCR). The experimental results show that the accuracy
of KDCTime is promising, while its inference time is two orders of magnitude
faster than ROCKET with an acceptable training time overhead.
- Abstract(参考訳): ディープニューラルネットワークに基づく時系列分類アプローチは、これらのデータセットの少数ショット問題に起因する、UCRデータセットに過度に適合することが容易である。
そこで本研究では,より精度を向上させるために過剰フィッティング現象を緩和するために,ソフトラベルの情報をハードラベルに置き換えたインセプションタイム(lstime)のラベル平滑化を提案する。
次に、LSTimeでソフトラベルを手動で調整する代わりに、教師モデルでソフトラベルを自動的に生成するために、インセプションタイムのための知識蒸留(KDTime)を提案する。
最後に,教師モデルから誤った予測ソフトラベルを修正するために,KDCTime (Knowledge Distillation with Calibration for InceptionTime) を提案し,KDC by Translating (KDCT) とKDC by Reordering (KDCR) の2つのオプション校正戦略を含む。
実験の結果,KDCTimeの精度は期待できるが,推定時間はROCKETよりも2桁高速であり,トレーニング時間オーバーヘッドも許容できることがわかった。
関連論文リスト
- Online Feature Updates Improve Online (Generalized) Label Shift
Adaptation [54.3888105557787]
本稿では,ラベルを欠いたオンライン環境におけるラベルシフトの問題に対処する。
テスト時にラベルのないデータを用いて特徴表現を拡張できる未解決の可能性を探る。
オンライン特徴更新(OLS-OFU)を用いたオンラインラベルシフト適応手法は,自己教師付き学習を活用し,特徴抽出プロセスの洗練を図る。
論文 参考訳(メタデータ) (2024-02-05T22:03:25Z) - CSOT: Curriculum and Structure-Aware Optimal Transport for Learning with
Noisy Labels [13.807759089431855]
ノイズラベル(LNL)による学習は、十分に一般化されたモデルのトレーニングにおいて重要な課題となる。
近年の進歩は、クリーンなラベルと、トレーニングのための破損したラベルを識別することで、印象的なパフォーマンスを実現している。
我々は、CSOT(Curriculum and Structure-Aware Optimal Transport)と呼ばれる新しい最適輸送(OT)の定式化を提案する。
論文 参考訳(メタデータ) (2023-12-11T09:12:50Z) - Model Calibration in Dense Classification with Adaptive Label
Perturbation [44.62722402349157]
既存の密接な二分分類モデルは、過信される傾向がある。
本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。
ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
論文 参考訳(メタデータ) (2023-07-25T14:40:11Z) - ProTeCt: Prompt Tuning for Hierarchical Consistency [70.94769641675377]
CLIPのような大規模なビジュアル言語モデルは、一般化された表現を学び、有望なゼロショットのパフォーマンスを示している。
彼らは、葉のレベルでの推測が正しい場合でも、粗い分類学的階級レベルで誤ったラベルを推測する。
本稿では,モデル予測の階層的一貫性を校正するための即時チューニング手法を提案する。
論文 参考訳(メタデータ) (2023-06-04T02:55:25Z) - Automated Label Generation for Time Series Classification with
Representation Learning: Reduction of Label Cost for Training [16.287885535569067]
本稿では,ラベルの自動生成手法を提案する。
提案手法は,Auto Encoded Compact Sequence を用いた表現学習に基づいている。
潜伏構造を学習し、また、代表的時系列を合成的に増強することで、反復的に自己ラベル化を行う。
論文 参考訳(メタデータ) (2021-07-12T14:28:40Z) - Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。
ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。
SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文 参考訳(メタデータ) (2021-02-25T14:56:19Z) - Iterative label cleaning for transductive and semi-supervised few-shot
learning [16.627512688664513]
少ないショットの学習は、新しいタスクが監督とデータの両方を限定して解決されるような、表現の学習と知識の獲得に相当します。
ラベル付きおよびラベルなしデータ分布の多様体構造を利用して擬似ラベルを予測するアルゴリズムを提案する。
私たちのソリューションは、4つのベンチマークデータセットのアート結果の状態を上回るか、一致します。
論文 参考訳(メタデータ) (2020-12-14T21:54:11Z) - Learning to Purify Noisy Labels via Meta Soft Label Corrector [49.92310583232323]
最近のディープニューラルネットワーク(DNN)は、ノイズラベルによるバイアス付きトレーニングデータに容易に適合する。
ラベル修正戦略はこの問題を軽減するために一般的に用いられる。
メタ学習モデルを提案する。
論文 参考訳(メタデータ) (2020-08-03T03:25:17Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳(メタデータ) (2020-07-01T04:48:49Z) - COLAM: Co-Learning of Deep Neural Networks and Soft Labels via
Alternating Minimization [60.07531696857743]
2つの目的の交互最小化によるDNNとソフトラベルの共学習
本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
論文 参考訳(メタデータ) (2020-04-26T17:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。