論文の概要: Finding Foundation Models for Time Series Classification with a PreText Task

• arxiv url: http://arxiv.org/abs/2311.14534v1
• Date: Fri, 24 Nov 2023 15:03:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 14:47:31.953276
• Title: Finding Foundation Models for Time Series Classification with a PreText Task
• Title（参考訳）: プレテキストタスクを用いた時系列分類の基礎モデル探索
• Authors: Ali Ismail-Fawaz, Maxime Devanne, Stefano Berretti, Jonathan Weber, Germain Forestier
• Abstract要約: 本稿では,時系列分類のための事前訓練済みドメイン基盤モデルを提案する。 我々の方法論の重要な側面は、複数のデータセットにまたがる新しいプリテキストタスクである。 UCRアーカイブの実験では,この事前学習戦略が,事前学習を伴わずに従来の訓練方法よりも有意に優れていたことが示されている。
• 参考スコア（独自算出の注目度）: 7.197233473373693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past decade, Time Series Classification (TSC) has gained an increasing attention. While various methods were explored, deep learning - particularly through Convolutional Neural Networks (CNNs)-stands out as an effective approach. However, due to the limited availability of training data, defining a foundation model for TSC that overcomes the overfitting problem is still a challenging task. The UCR archive, encompassing a wide spectrum of datasets ranging from motion recognition to ECG-based heart disease detection, serves as a prime example for exploring this issue in diverse TSC scenarios. In this paper, we address the overfitting challenge by introducing pre-trained domain foundation models. A key aspect of our methodology is a novel pretext task that spans multiple datasets. This task is designed to identify the originating dataset of each time series sample, with the goal of creating flexible convolution filters that can be applied across different datasets. The research process consists of two phases: a pre-training phase where the model acquires general features through the pretext task, and a subsequent fine-tuning phase for specific dataset classifications. Our extensive experiments on the UCR archive demonstrate that this pre-training strategy significantly outperforms the conventional training approach without pre-training. This strategy effectively reduces overfitting in small datasets and provides an efficient route for adapting these models to new datasets, thus advancing the capabilities of deep learning in TSC.
• Abstract（参考訳）: 過去10年間で、時系列分類(TSC)が注目されている。 様々な手法が研究されているが、特に畳み込みニューラルネットワーク(CNN)による深層学習は効果的なアプローチである。 しかしながら、トレーニングデータの可用性が限られているため、過剰フィッティング問題を克服するtscの基礎モデルの定義は依然として困難な課題である。 UCRアーカイブは、モーション認識から心電図に基づく心臓病検出まで幅広いデータセットを包含しており、多様なTSCシナリオでこの問題を探求する主要な例となっている。 本稿では、事前訓練されたドメイン基盤モデルを導入することで、オーバーフィッティングの課題に対処する。 我々の方法論の重要な側面は、複数のデータセットにまたがる新しいプリテキストタスクである。 このタスクは、異なるデータセットにまたがって適用可能な柔軟な畳み込みフィルタを作成することを目的として、各時系列サンプルのデータセットを識別するように設計されている。 研究プロセスは、プリテキストタスクを通じてモデルが一般的な特徴を取得する事前学習フェーズと、特定のデータセット分類のためのその後の微調整フェーズの2つのフェーズで構成される。 ucrアーカイブを用いた広範な実験により,この事前トレーニング戦略が,事前トレーニングを行わずとも従来のトレーニングアプローチを大きく上回っていることが示された。 この戦略は、小さなデータセットのオーバーフィッティングを効果的に削減し、これらのモデルを新しいデータセットに適応するための効率的なルートを提供する。

関連論文リスト

• UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
  時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。 従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。 本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T07:47:11Z)
• Spanning Training Progress: Temporal Dual-Depth Scoring (TDDS) for Enhanced Dataset Pruning [50.809769498312434]
  我々は、時間的デュアルディープス・スコーリング(TDDS)と呼ばれる新しいデータセット・プルーニング手法を提案する。 本手法は,10%のトレーニングデータで54.51%の精度を達成し,ランダム選択を7.83%以上,他の比較手法を12.69%以上上回る結果を得た。
  論文  参考訳（メタデータ） (2023-11-22T03:45:30Z)
• Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
  本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。 実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:59:56Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Toward a Foundation Model for Time Series Data [34.1973242428317]
  基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。 複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
  論文  参考訳（メタデータ） (2023-10-05T21:44:50Z)
• SeisCLIP: A seismology foundation model pre-trained by multi-modal data for multi-purpose seismic feature extraction [16.01738433164131]
  マルチモーダルデータからのコントラスト学習を通じて学習した地震基盤モデルであるSeesCLIPを開発した。 時間周波数の地震スペクトルから重要な特徴を抽出するトランスフォーマーエンコーダと、同じ事象の位相とソース情報を統合するための基礎エンコーダから構成される。 特に、SeesCLIPのパフォーマンスは、イベント分類、ローカライゼーション、焦点機構解析タスクにおけるベースライン手法を上回る。
  論文  参考訳（メタデータ） (2023-09-05T15:40:13Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• One-Shot Object Detection without Fine-Tuning [62.39210447209698]
  本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。 また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。 提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
  論文  参考訳（メタデータ） (2020-05-08T01:59:23Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。