論文の概要: Automated Contrastive Learning Strategy Search for Time Series

• arxiv url: http://arxiv.org/abs/2403.12641v3
• Date: Wed, 23 Oct 2024 11:54:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:52:34.314901
• Title: Automated Contrastive Learning Strategy Search for Time Series
• Title（参考訳）: 時系列の自動コントラスト学習戦略探索
• Authors: Baoyu Jing, Yansen Wang, Guoxin Sui, Jing Hong, Jingrui He, Yuqing Yang, Dongsheng Li, Kan Ren,
• Abstract要約: 時系列データセットやタスクに対するコントラスト学習(AutoCL)を自動的に学習する,MicrosoftのAutomated Machine Learning(AutoML)プラクティスを提示する。 まず,データ拡張,埋め込み変換,コントラッシブなペア構成,コントラスト的な損失を網羅した,3時間1012ドルの探索空間を構築した。 さらに,評価タスクの性能からCLSを最適化し,空間内で有効なCLSを得る効率的な強化学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 48.68664732145665
• License:
• Abstract: In recent years, Contrastive Learning (CL) has become a predominant representation learning paradigm for time series. Most existing methods manually build specific CL Strategies (CLS) by human heuristics for certain datasets and tasks. However, manually developing CLS usually requires excessive prior knowledge about the data, and massive experiments to determine the detailed CL configurations. In this paper, we present an Automated Machine Learning (AutoML) practice at Microsoft, which automatically learns CLS for time series datasets and tasks, namely Automated Contrastive Learning (AutoCL). We first construct a principled search space of size over $3\times10^{12}$, covering data augmentation, embedding transformation, contrastive pair construction, and contrastive losses. Further, we introduce an efficient reinforcement learning algorithm, which optimizes CLS from the performance on the validation tasks, to obtain effective CLS within the space. Experimental results on various real-world datasets demonstrate that AutoCL could automatically find the suitable CLS for the given dataset and task. From the candidate CLS found by AutoCL on several public datasets/tasks, we compose a transferable Generally Good Strategy (GGS), which has a strong performance for other datasets. We also provide empirical analysis as a guide for the future design of CLS.
• Abstract（参考訳）: 近年,コントラスト学習(CL)が時系列の表現学習のパラダイムとして主流となっている。 既存のほとんどのメソッドは、特定のデータセットやタスクに対して人間のヒューリスティックによって特定のCLストラテジー(CLS)を手動で構築する。 しかし、手動でCLSを開発するには、データに関する過剰な事前知識と、詳細なCL構成を決定するための大規模な実験が必要である。 本稿では、時系列データセットやタスクのCLSを自動的に学習するAutomated Contrastive Learning(AutoCL)について、Microsoftで実施するAutomated Machine Learning(AutoML)の実践を紹介する。 まず,データ拡張,埋め込み変換,コントラスト的ペア構築,コントラスト的損失を網羅した,3\times10^{12}$以上の探索空間を構築した。 さらに,検証タスクの性能からCRSを最適化し,空間内で有効なCRSを得る効率的な強化学習アルゴリズムを提案する。 さまざまな実世界のデータセットに関する実験結果は、AutoCLが与えられたデータセットとタスクに適したCLSを自動的に見つけることができることを示している。 AutoCLがいくつかのパブリックデータセット/タスクで見つけた候補CLSから、転送可能な汎用戦略(GGS)を構成し、他のデータセットに対して強力なパフォーマンスを実現しています。 CLSの将来設計のガイドとして実証分析も提供する。

関連論文リスト

• Is C4 Dataset Optimal for Pruning? An Investigation of Calibration Data for LLM Pruning [56.795078085234195]
  LLMプルーニングのアプローチは、プルーニングスコアを計算するためのキャリブレーションデータとして、C4データセットに依存している。 本研究では, LLMプルーニングにおけるキャリブレーションデータの選択を, 幅広いデータセットで評価する。 私たちの結果は、微妙でしばしば予期せぬ発見もいくつか見つけました。
  論文  参考訳（メタデータ） (2024-10-09T22:00:19Z)
• Instruction Tuning Vs. In-Context Learning: Revisiting Large Language Models in Few-Shot Computational Social Science [0.1499944454332829]
  In-context Learning (ICL) とインストラクションチューニング (IT) を用いた大規模言語モデル (LLM) の分類性能の評価を行った。 ICLは、明示的な勾配更新なしで例から学ぶことで、タスク適応の迅速な代替手段を提供する。 私たちの研究は、CSSタスクを数ショットで処理する上で、ICLの重大な利点を強調しています。
  論文  参考訳（メタデータ） (2024-09-23T02:43:08Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• CoLeCLIP: Open-Domain Continual Learning via Joint Task Prompt and Vocabulary Learning [38.063942750061585]
  本稿では,CLIPに基づくオープンドメインCLモデルを学習する新しいアプローチであるCoLeCLIPを紹介する。 CoLeCLIPは、タスクとクラスインクリメンタルな学習設定の両方で、オープンドメインCLの最先端メソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-03-15T12:28:21Z)
• Continual Learning with Dynamic Sparse Training: Exploring Algorithms for Effective Model Updates [13.983410740333788]
  連続学習(英: Continual Learning, CL)とは、知的なシステムが、可能な限り計算オーバーヘッドの少ないデータストリームから、逐次的に知識を取得し、保持する能力である。 ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、これらのスパースネットワークを見つけ、タスクごとに分離する方法である。 本論文は,CLパラダイムの下で異なるDST成分の効果を検証した最初の実証的研究である。
  論文  参考訳（メタデータ） (2023-08-28T18:31:09Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• From MNIST to ImageNet and Back: Benchmarking Continual Curriculum Learning [9.104068727716294]
  継続学習(CL)は、機械学習研究で最も有望なトレンドの1つである。 6つの画像データセットから複数の異種タスクを含む2つの新しいCLベンチマークを導入する。 さらに、タスクが複雑化と減少の順序で表されるように、ベンチマークを構造化します。
  論文  参考訳（メタデータ） (2023-03-16T18:11:19Z)
• The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
  連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。 本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。 単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
  論文  参考訳（メタデータ） (2022-01-17T09:09:09Z)
• Continual Learning for Recurrent Neural Networks: a Review and Empirical Evaluation [12.27992745065497]
  リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。 コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。 我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
  論文  参考訳（メタデータ） (2021-03-12T19:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。