論文の概要: United We Pretrain, Divided We Fail! Representation Learning for Time
Series by Pretraining on 75 Datasets at Once
- arxiv url: http://arxiv.org/abs/2402.15404v1
- Date: Fri, 23 Feb 2024 16:06:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 14:01:29.240149
- Title: United We Pretrain, Divided We Fail! Representation Learning for Time
Series by Pretraining on 75 Datasets at Once
- Title（参考訳）: United We Pretrain, Divided We Fail!
75データセットの事前学習による時系列表現学習
- Authors: Maurice Kraus and Felix Divo and David Steinmann and Devendra Singh
Dhami and Kristian Kersting
- Abstract要約: 自然言語処理と視覚では、事前学習を用いて効果的な表現を学習する。
我々は,多くの時系列データセットからエンコーディングを学ぶために,新たな自己教師付きコントラスト事前学習手法を導入する。
- 参考スコア（独自算出の注目度）: 22.023648710005734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In natural language processing and vision, pretraining is utilized to learn
effective representations. Unfortunately, the success of pretraining does not
easily carry over to time series due to potential mismatch between sources and
target. Actually, common belief is that multi-dataset pretraining does not work
for time series! Au contraire, we introduce a new self-supervised contrastive
pretraining approach to learn one encoding from many unlabeled and diverse time
series datasets, so that the single learned representation can then be reused
in several target domains for, say, classification. Specifically, we propose
the XD-MixUp interpolation method and the Soft Interpolation Contextual
Contrasting (SICC) loss. Empirically, this outperforms both supervised training
and other self-supervised pretraining methods when finetuning on low-data
regimes. This disproves the common belief: We can actually learn from multiple
time series datasets, even from 75 at once.
- Abstract（参考訳）: 自然言語処理と視覚では、事前学習を用いて効果的な表現を学習する。
残念ながら、事前訓練の成功は、ソースとターゲット間の潜在的なミスマッチのために、容易に時系列に受け継がれない。
実際、マルチデータセット事前トレーニングは時系列では機能しない、というのが一般的な信念です!
Au とは対照的に,多数のラベルのない,多種多様な時系列データセットから1つのエンコーディングを学習するために,新たな自己教師型コントラスト事前学習手法を導入し,学習された表現を複数の対象領域(例えば分類)で再利用できるようにする。
具体的には,XD-MixUp補間法とSoft Interpolation Contextual Contrasting (SICC)損失を提案する。
これは、低データ体制を微調整する際、教師付きトレーニングやその他の自己監督型事前訓練方法よりも優れている。
同時に75からでも、複数の時系列データセットから実際に学習することができます。
関連論文リスト
- Premonition: Using Generative Models to Preempt Future Data Changes in
Continual Learning [63.850451635362425]
継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。
本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。
トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
論文 参考訳（メタデータ） (2024-03-12T06:29:54Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳（メタデータ） (2024-02-04T13:10:51Z) - Contrastive Difference Predictive Coding [79.74052624853303]
本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。
目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
論文 参考訳（メタデータ） (2023-10-31T03:16:32Z) - Toward a Foundation Model for Time Series Data [34.1973242428317]
基礎モデルは、大規模で多様なデータセットに基づいてトレーニングされた機械学習モデルである。
複数のドメインのラベルのないサンプルを活用することで,効率的な時系列基礎モデルを構築する。
論文 参考訳（メタデータ） (2023-10-05T21:44:50Z) - PAITS: Pretraining and Augmentation for Irregularly-Sampled Time Series [40.02860424817592]
PAITSは、スパースおよび不規則サンプル時系列データセットに適した事前学習戦略を特定するためのフレームワークである。
このアプローチは、複数のデータセットやドメインにわたる事前トレーニングを継続的に改善する上で有効です。
論文 参考訳（メタデータ） (2023-08-25T23:21:53Z) - Preventing Zero-Shot Transfer Degradation in Continual Learning of
Vision-Language Models [13.340759455910721]
本稿では,視覚言語モデルの連続学習におけるゼロショット転送劣化を防止する新しい手法を提案する。
本手法は,従来のクラス増分学習環境において,他の手法よりも優れている。
論文 参考訳（メタデータ） (2023-03-12T10:28:07Z) - Flipped Classroom: Effective Teaching for Time Series Forecasting [0.0]
LSTMとGRUに基づくシーケンス・ツー・シーケンス・モデルは時系列データの予測において最も一般的な選択肢である。
この文脈における2つの一般的なトレーニング戦略は、教師強制(TF)とフリーランニング(FR)である。
いくつかの新しいカリキュラムを提案し、その性能を2つの実験セットで体系的に評価する。
論文 参考訳（メタデータ） (2022-10-17T11:53:25Z) - Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。
幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
論文 参考訳（メタデータ） (2022-08-19T19:42:41Z) - How Well Self-Supervised Pre-Training Performs with Streaming Data? [73.5362286533602]
ストリーミング形式でデータが収集される現実のシナリオでは、ジョイントトレーニングスキームは通常、ストレージ重大で時間を要する。
ストリーミングデータでどのように連続的な自己監督プリトレーニングが実行されるかは不明です。
ストリーミングデータ内の分散シフトが軽度である場合,逐次自己教師付き学習は共同学習とほぼ同等の性能を示す。
論文 参考訳（メタデータ） (2021-04-25T06:56:48Z) - Class-incremental Learning using a Sequence of Partial Implicitly
Regularized Classifiers [0.0]
クラス増分学習では、トレーニングデータ全体にアクセスすることなく、複数のクラスを順次学習することが目的である。
CIFAR100データセットの実験では、提案手法がSOTAの性能を大きなマージンで向上させることが示された。
論文 参考訳（メタデータ） (2021-04-04T10:02:45Z) - CUPID: Adaptive Curation of Pre-training Data for Video-and-Language
Representation Learning [49.18591896085498]
ソースデータとターゲットデータのドメインギャップを埋めるCUPIDを提案します。
CUPIDは、複数のビデオ言語およびビデオタスクにまたがる最新のパフォーマンスを提供します。
論文 参考訳（メタデータ） (2021-04-01T06:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。