論文の概要: Automated Contrastive Learning Strategy Search for Time Series
- arxiv url: http://arxiv.org/abs/2403.12641v2
- Date: Fri, 16 Aug 2024 14:49:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 20:24:02.561778
- Title: Automated Contrastive Learning Strategy Search for Time Series
- Title(参考訳): 時系列の自動コントラスト学習戦略探索
- Authors: Baoyu Jing, Yansen Wang, Guoxin Sui, Jing Hong, Jingrui He, Yuqing Yang, Dongsheng Li, Kan Ren,
- Abstract要約: 時系列データセットやタスクに対するコントラスト学習(AutoCL)を自動的に学習する,MicrosoftのAutomated Machine Learning(AutoML)プラクティスを提示する。
まず,データ拡張,埋め込み変換,コントラッシブなペア構成,コントラスト的な損失を網羅した,3時間1012ドルの探索空間を構築した。
さらに,評価タスクの性能からCLSを最適化し,空間内で有効なCLSを得る効率的な強化学習アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 48.68664732145665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, Contrastive Learning (CL) has become a predominant representation learning paradigm for time series. Most existing methods manually build specific CL Strategies (CLS) by human heuristics for certain datasets and tasks. However, manually developing CLS usually requires excessive prior knowledge about the data, and massive experiments to determine the detailed CL configurations. In this paper, we present an Automated Machine Learning (AutoML) practice at Microsoft, which automatically learns CLS for time series datasets and tasks, namely Automated Contrastive Learning (AutoCL). We first construct a principled search space of size over $3\times10^{12}$, covering data augmentation, embedding transformation, contrastive pair construction, and contrastive losses. Further, we introduce an efficient reinforcement learning algorithm, which optimizes CLS from the performance on the validation tasks, to obtain effective CLS within the space. Experimental results on various real-world datasets demonstrate that AutoCL could automatically find the suitable CLS for the given dataset and task. From the candidate CLS found by AutoCL on several public datasets/tasks, we compose a transferable Generally Good Strategy (GGS), which has a strong performance for other datasets. We also provide empirical analysis as a guide for the future design of CLS.
- Abstract(参考訳): 近年,コントラスト学習(CL)が時系列の表現学習のパラダイムとして主流となっている。
既存のほとんどのメソッドは、特定のデータセットやタスクに対して人間のヒューリスティックによって特定のCLストラテジー(CLS)を手動で構築する。
しかし、手動でCLSを開発するには、データに関する過剰な事前知識と、詳細なCL構成を決定するための大規模な実験が必要である。
本稿では、時系列データセットやタスクのCLSを自動的に学習するAutomated Contrastive Learning(AutoCL)について、Microsoftで実施するAutomated Machine Learning(AutoML)の実践を紹介する。
まず,データ拡張,埋め込み変換,コントラスト的ペア構築,コントラスト的損失を網羅した,3\times10^{12}$以上の探索空間を構築した。
さらに,検証タスクの性能からCRSを最適化し,空間内で有効なCRSを得る効率的な強化学習アルゴリズムを提案する。
さまざまな実世界のデータセットに関する実験結果は、AutoCLが与えられたデータセットとタスクに適したCLSを自動的に見つけることができることを示している。
AutoCLがいくつかのパブリックデータセット/タスクで見つけた候補CLSから、転送可能な汎用戦略(GGS)を構成し、他のデータセットに対して強力なパフォーマンスを実現しています。
CLSの将来設計のガイドとして実証分析も提供する。
関連論文リスト
- Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。
実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。
以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文 参考訳(メタデータ) (2024-06-19T00:28:58Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Finding Foundation Models for Time Series Classification with a PreText
Task [7.197233473373693]
本稿では,時系列分類のための事前訓練済みドメイン基盤モデルを提案する。
我々の方法論の重要な側面は、複数のデータセットにまたがる新しいプリテキストタスクである。
UCRアーカイブの実験では,この事前学習戦略が,事前学習を伴わずに従来の訓練方法よりも有意に優れていたことが示されている。
論文 参考訳(メタデータ) (2023-11-24T15:03:55Z) - Continual Learning with Dynamic Sparse Training: Exploring Algorithms
for Effective Model Updates [13.983410740333788]
連続学習(英: Continual Learning, CL)とは、知的なシステムが、可能な限り計算オーバーヘッドの少ないデータストリームから、逐次的に知識を取得し、保持する能力である。
ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、これらのスパースネットワークを見つけ、タスクごとに分離する方法である。
本論文は,CLパラダイムの下で異なるDST成分の効果を検証した最初の実証的研究である。
論文 参考訳(メタデータ) (2023-08-28T18:31:09Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T21:51:04Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳(メタデータ) (2023-05-23T16:47:22Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳(メタデータ) (2022-11-15T18:57:46Z) - Continual Learning for Recurrent Neural Networks: a Review and Empirical
Evaluation [12.27992745065497]
リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。
コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。
我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
論文 参考訳(メタデータ) (2021-03-12T19:25:28Z) - Meta Automatic Curriculum Learning [35.13646854355393]
メタACLの概念を導入し,それをブラックボックスRL学習者の文脈で形式化する。
本稿では,メタACLの初回インスタンス化であるAGAINについて述べる。
論文 参考訳(メタデータ) (2020-11-16T14:56:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。