論文の概要: Curricular and Cyclical Loss for Time Series Learning Strategy

• arxiv url: http://arxiv.org/abs/2312.15853v1
• Date: Tue, 26 Dec 2023 02:40:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 16:07:46.457472
• Title: Curricular and Cyclical Loss for Time Series Learning Strategy
• Title（参考訳）: 時系列学習戦略のためのカリキュラムとサイクル損失
• Authors: Chenxi Sun, Hongyan Li, Moxian Song, Derun Cai, Shenda Hong
• Abstract要約: 本稿では,Curricular and CyclicaL Loss (CRUCIAL) を提案する。 CRUCIALには2つの特徴がある。 単調なサイズに比べ、循環的なサイズは予測誤差を低減できることを示す。
• 参考スコア（独自算出の注目度）: 17.725840333187577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time series widely exists in real-world applications and many deep learning models have performed well on it. Current research has shown the importance of learning strategy for models, suggesting that the benefit is the order and size of learning samples. However, no effective strategy has been proposed for time series due to its abstract and dynamic construction. Meanwhile, the existing one-shot tasks and continuous tasks for time series necessitate distinct learning processes and mechanisms. No all-purpose approach has been suggested. In this work, we propose a novel Curricular and CyclicaL loss (CRUCIAL) to learn time series for the first time. It is model- and task-agnostic and can be plugged on top of the original loss with no extra procedure. CRUCIAL has two characteristics: It can arrange an easy-to-hard learning order by dynamically determining the sample contribution and modulating the loss amplitude; It can manage a cyclically changed dataset and achieve an adaptive cycle by correlating the loss distribution and the selection probability. We prove that compared with monotonous size, cyclical size can reduce expected error. Experiments on 3 kinds of tasks and 5 real-world datasets show the benefits of CRUCIAL for most deep learning models when learning time series.
• Abstract（参考訳）: 時系列は現実世界のアプリケーションで広く使われており、多くのディープラーニングモデルがうまく機能している。 現在の研究では、モデルの学習戦略の重要性が示されており、その利点は学習サンプルの順序と大きさである。 しかし、その抽象的かつダイナミックな構成のため、時系列に対する効果的な戦略は提案されていない。 一方、既存のワンショットタスクと時系列の連続タスクは、異なる学習プロセスとメカニズムを必要とする。 完全なアプローチは提案されていない。 そこで本研究では, 初めて時系列を学習するための新しい曲率および周期的損失(クレーシアル)を提案する。 これはモデルとタスクに依存しないもので、余分な手順なしでオリジナルの損失の上にプラグインすることができる。 CRUCIALには2つの特徴がある: サンプルコントリビューションを動的に決定し、損失振幅を調整し、損失分布と選択確率を関連付けることで、周期的に変化するデータセットを管理し、適応サイクルを達成することができる。 単調なサイズに比べ,周期的なサイズは期待誤差を低減できる。 3種類のタスクと5つの実世界のデータセットの実験は、時系列学習におけるほとんどのディープラーニングモデルに対するCRUCIALの利点を示している。

関連論文リスト

• Reinforcement Learning with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
  本稿では,行動列上のQ値を出力する批判ネットワークを学習する新しいRLアルゴリズムを提案する。 提案アルゴリズムは,現在および将来の一連の行動の実行結果を学習するために値関数を明示的に訓練することにより,ノイズのある軌道から有用な値関数を学習することができる。
  論文  参考訳（メタデータ） (2024-11-19T01:23:52Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning [7.4106801792345705]
  長周期時系列予測のための革新的蒸留強化フレームワークであるDE-TSMCLを提案する。 具体的には、タイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張機構を設計する。 そこで本研究では,時系列のサンプル間および時間内相関を探索するために,モーメントを更新したコントラスト学習タスクを提案する。 複数のタスクからモデル損失を発生させることで、下流予測タスクの効果的な表現を学習することができる。
  論文  参考訳（メタデータ） (2024-01-31T12:52:10Z)
• Learning the Dynamics of Sparsely Observed Interacting Systems [0.6021787236982659]
  ターゲットと特徴時系列をリンクする未知の非パラメトリックシステムのダイナミクスを学習する問題に対処する。 符号のリッチな理論を活用することで、この非線形問題を高次元線形回帰として考えることができる。
  論文  参考訳（メタデータ） (2023-01-27T10:48:28Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• An Empirical Investigation of the Role of Pre-training in Lifelong Learning [21.995593026269578]
  複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。 本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
  論文  参考訳（メタデータ） (2021-12-16T19:00:55Z)
• Multimodal Meta-Learning for Time Series Regression [3.135152720206844]
  メタラーニングを用いてモデルパラメータを新しい短史時系列に迅速に適応させるアイデアについて検討する。 提案手法は,12実験中9実験において,少ないデータでTSRを学習し,ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-05T20:50:18Z)
• Multi-Time Attention Networks for Irregularly Sampled Time Series [18.224344440110862]
  不規則サンプリングは多くの時系列モデリングアプリケーションで発生する。 我々は,この設定のための新しいディープラーニングフレームワークを提案し,これをマルチ時間注意ネットワークと呼ぶ。 その結果,我々のアプローチは,ベースラインや最近提案されたモデルと同等かそれ以上の性能を示すことができた。
  論文  参考訳（メタデータ） (2021-01-25T18:57:42Z)
• Learning summary features of time series for likelihood free inference [93.08098361687722]
  時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。 以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-04T19:21:37Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。