論文の概要: Self-Distilled Representation Learning for Time Series

• arxiv url: http://arxiv.org/abs/2311.11335v1
• Date: Sun, 19 Nov 2023 14:34:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 20:58:19.104922
• Title: Self-Distilled Representation Learning for Time Series
• Title（参考訳）: 時系列の自己蒸留表現学習
• Authors: Felix Pieper and Konstantin Ditschuneit and Martin Genzel and Alexandra Lindt and Johannes Otterbach
• Abstract要約: 時系列データに対する自己教師型学習は、最近自然言語処理とコンピュータビジョンで発表されたものと類似した可能性を秘めている。 我々は,Data2vec自己蒸留フレームワークに基づく,概念的にシンプルだが強力な非競合的アプローチを提案する。 UCRやUEAのアーカイブやETTやElectricityのデータセットなど、最先端の自己教師型学習手法と比較して、下流タスクとして分類と予測を行うアプローチの競争力を実証する。
• 参考スコア（独自算出の注目度）: 45.51976109748732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning for time-series data holds potential similar to that recently unleashed in Natural Language Processing and Computer Vision. While most existing works in this area focus on contrastive learning, we propose a conceptually simple yet powerful non-contrastive approach, based on the data2vec self-distillation framework. The core of our method is a student-teacher scheme that predicts the latent representation of an input time series from masked views of the same time series. This strategy avoids strong modality-specific assumptions and biases typically introduced by the design of contrastive sample pairs. We demonstrate the competitiveness of our approach for classification and forecasting as downstream tasks, comparing with state-of-the-art self-supervised learning methods on the UCR and UEA archives as well as the ETT and Electricity datasets.
• Abstract（参考訳）: 時系列データに対する自己教師あり学習は、最近自然言語処理やコンピュータビジョンで解かれたものと同様の可能性を秘めている。 この分野の既存の研究は対照的な学習に重点を置いているが、我々はData2vecの自己蒸留フレームワークに基づく概念的にシンプルだが強力な非競合的アプローチを提案する。 本手法の中核は,同じ時系列のマスキングビューから入力時系列の潜在表現を予測する学生-教師方式である。 この戦略は、対照的なサンプルペアの設計によって一般的に導入される強いモダリティ特有の仮定やバイアスを避ける。 UCRやUEAのアーカイブやETTやElectricityのデータセットといった最先端の自己教師型学習手法と比較して,下流タスクとして分類と予測を行うアプローチの競争力を実証する。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• XAI for time-series classification leveraging image highlight methods [0.0699049312989311]
  時系列分類タスクにおいて解釈可能性を提供する教師学生アーキテクチャ(蒸留モデル)にディープニューラルネットワーク(DNN)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T10:59:18Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
  時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
  論文  参考訳（メタデータ） (2023-03-02T07:44:06Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
  DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。 我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-06-08T09:13:34Z)
• Semi-supervised Facial Action Unit Intensity Estimation with Contrastive Learning [54.90704746573636]
  提案手法では,手動でキーフレームを選択する必要はなく,2%の注釈付きフレームで最先端の結果を生成できる。 提案手法は, ランダムに選択したデータに対してわずか2%の費用で作業した場合に, 既存の手法よりも優れていることを実験的に検証した。
  論文  参考訳（メタデータ） (2020-11-03T17:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。