論文の概要: Automated Contrastive Learning Strategy Search for Time Series
- arxiv url: http://arxiv.org/abs/2403.12641v1
- Date: Tue, 19 Mar 2024 11:24:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 14:33:18.678233
- Title: Automated Contrastive Learning Strategy Search for Time Series
- Title（参考訳）: 時系列の自動コントラスト学習戦略探索
- Authors: Baoyu Jing, Yansen Wang, Guoxin Sui, Jing Hong, Jingrui He, Yuqing Yang, Dongsheng Li, Kan Ren,
- Abstract要約: コントラスト学習(CL)は,時系列の表現学習パラダイムとして主流となっている。
我々はMicrosoftでAutomated Machine Learning(AutoML)の実践を紹介し、様々な時系列データセットの学習表現をコントラストに自動的に学習する。
- 参考スコア（独自算出の注目度）: 48.68664732145665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, Contrastive Learning (CL) has become a predominant representation learning paradigm for time series. Most existing methods in the literature focus on manually building specific Contrastive Learning Strategies (CLS) by human heuristics for certain datasets and tasks. However, manually developing CLS usually require excessive prior knowledge about the datasets and tasks, e.g., professional cognition of the medical time series in healthcare, as well as huge human labor and massive experiments to determine the detailed learning configurations. In this paper, we present an Automated Machine Learning (AutoML) practice at Microsoft, which automatically learns to contrastively learn representations for various time series datasets and tasks, namely Automated Contrastive Learning (AutoCL). We first construct a principled universal search space of size over 3x1012, covering data augmentation, embedding transformation, contrastive pair construction and contrastive losses. Further, we introduce an efficient reinforcement learning algorithm, which optimizes CLS from the performance on the validation tasks, to obtain more effective CLS within the space. Experimental results on various real-world tasks and datasets demonstrate that AutoCL could automatically find the suitable CLS for a given dataset and task. From the candidate CLS found by AutoCL on several public datasets/tasks, we compose a transferable Generally Good Strategy (GGS), which has a strong performance for other datasets. We also provide empirical analysis as a guidance for future design of CLS.
- Abstract（参考訳）: 近年,コントラスト学習(CL)が時系列の表現学習のパラダイムとして主流となっている。
文献の既存の方法のほとんどは、特定のデータセットやタスクに対する人間のヒューリスティックによって、特定のコントラスト学習戦略(CLS)を手作業で構築することに焦点を当てている。
しかし、手動でCLSを開発するには、例えば医療における医療時系列の専門的認知や、詳細な学習構成を決定するための巨大な人的労働と大規模な実験といった、データセットやタスクに関する過剰な事前知識が必要である。
本稿では,Microsoft における Automated Machine Learning (AutoML) の実践について紹介する。これは,時系列データセットやタスク,すなわち Automated Contrastive Learning (AutoCL) の表現を,対照的に学習する。
まず,データ拡張,埋め込み変換,コントラッシブペア構築,コントラスト損失を網羅した,3×1012以上の普遍探索空間を構築した。
さらに,検証タスクの性能からCRSを最適化し,空間内でより効率的なCRSを得る効率的な強化学習アルゴリズムを提案する。
さまざまな実世界のタスクとデータセットに関する実験結果は、AutoCLが与えられたデータセットとタスクに適したCLSを自動的に見つけることができることを示している。
AutoCLがいくつかのパブリックデータセット/タスクで見つけた候補CLSから、転送可能な汎用戦略(GGS)を構成し、他のデータセットに対して強力なパフォーマンスを提供します。
また,今後のLCS設計の指針として実証分析を行った。
関連論文リスト
- Is C4 Dataset Optimal for Pruning? An Investigation of Calibration Data for LLM Pruning [56.795078085234195]
LLMプルーニングのアプローチは、プルーニングスコアを計算するためのキャリブレーションデータとして、C4データセットに依存している。
本研究では, LLMプルーニングにおけるキャリブレーションデータの選択を, 幅広いデータセットで評価する。
私たちの結果は、微妙でしばしば予期せぬ発見もいくつか見つけました。
論文 参考訳（メタデータ） (2024-10-09T22:00:19Z) - Instruction Tuning Vs. In-Context Learning: Revisiting Large Language Models in Few-Shot Computational Social Science [0.1499944454332829]
In-context Learning (ICL) とインストラクションチューニング (IT) を用いた大規模言語モデル (LLM) の分類性能の評価を行った。
ICLは、明示的な勾配更新なしで例から学ぶことで、タスク適応の迅速な代替手段を提供する。
私たちの研究は、CSSタスクを数ショットで処理する上で、ICLの重大な利点を強調しています。
論文 参考訳（メタデータ） (2024-09-23T02:43:08Z) - Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。
この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。
広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
論文 参考訳（メタデータ） (2024-04-19T10:10:39Z) - CoLeCLIP: Open-Domain Continual Learning via Joint Task Prompt and Vocabulary Learning [38.063942750061585]
本稿では,CLIPに基づくオープンドメインCLモデルを学習する新しいアプローチであるCoLeCLIPを紹介する。
CoLeCLIPは、タスクとクラスインクリメンタルな学習設定の両方で、オープンドメインCLの最先端メソッドよりも優れています。
論文 参考訳（メタデータ） (2024-03-15T12:28:21Z) - Continual Learning with Dynamic Sparse Training: Exploring Algorithms
for Effective Model Updates [13.983410740333788]
連続学習(英: Continual Learning, CL)とは、知的なシステムが、可能な限り計算オーバーヘッドの少ないデータストリームから、逐次的に知識を取得し、保持する能力である。
ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、これらのスパースネットワークを見つけ、タスクごとに分離する方法である。
本論文は,CLパラダイムの下で異なるDST成分の効果を検証した最初の実証的研究である。
論文 参考訳（メタデータ） (2023-08-28T18:31:09Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z) - Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。
現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。
本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
論文 参考訳（メタデータ） (2023-03-20T14:50:27Z) - From MNIST to ImageNet and Back: Benchmarking Continual Curriculum
Learning [9.104068727716294]
継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。
6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。
さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
論文 参考訳（メタデータ） (2023-03-16T18:11:19Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳（メタデータ） (2022-01-17T09:09:09Z) - Continual Learning for Recurrent Neural Networks: a Review and Empirical
Evaluation [12.27992745065497]
リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。
コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。
我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
論文 参考訳（メタデータ） (2021-03-12T19:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。