論文の概要: SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling

• arxiv url: http://arxiv.org/abs/2302.00861v1
• Date: Thu, 2 Feb 2023 04:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 15:34:42.553806
• Title: SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling
• Title（参考訳）: SimMTM: Masked Time-Series Modelingのためのシンプルな事前トレーニングフレームワーク
• Authors: Jiaxiang Dong, Haixu Wu, Haoran Zhang, Li Zhang, Jianmin Wang, Mingsheng Long
• Abstract要約: SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。 これは多様体の外側の複数の隣人の重み付けによるマスク付き時間点の復元である。 SimMTMは2つの標準時系列解析タスクで最先端の微調整性能を実現する。
• 参考スコア（独自算出の注目度）: 82.58061802944468
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Time series analysis is widely used in extensive areas. Recently, to reduce labeling expenses and benefit various tasks, self-supervised pre-training has attracted immense interest. One mainstream paradigm is masked modeling, which successfully pre-trains deep models by learning to reconstruct the masked content based on the unmasked part. However, since the semantic information of time series is mainly contained in temporal variations, the standard way of randomly masking a portion of time points will ruin vital temporal variations of time series seriously, making the reconstruction task too difficult to guide representation learning. We thus present SimMTM, a Simple pre-training framework for Masked Time-series Modeling. By relating masked modeling to manifold learning, SimMTM proposes to recover masked time points by the weighted aggregation of multiple neighbors outside the manifold, which eases the reconstruction task by assembling ruined but complementary temporal variations from multiple masked series. SimMTM further learns to uncover the local structure of the manifold helpful for masked modeling. Experimentally, SimMTM achieves state-of-the-art fine-tuning performance in two canonical time series analysis tasks: forecasting and classification, covering both in- and cross-domain settings.
• Abstract（参考訳）: 時系列分析は広範囲で広く使われている。 近年,ラベリング費用を削減し,様々な業務に利益をもたらすために,自己監督型事前研修が注目されている。 メインストリームのパラダイムはマスクモデリングであり、マスクされていない部分に基づいてマスクされたコンテンツを再構築するために学習することで、深層モデルを事前学習することに成功している。 しかし、時系列の意味情報は主に時間変化に含まれているため、時間の一部にランダムにマスキングする標準的な方法は、時系列の重要な時間変化をひどく損なうことになり、表現学習を導くのが難しくなる。 そこで我々は,マスク付き時系列モデリングのための簡易事前学習フレームワークSimMTMを提案する。 マスク付きモデリングと多様体学習を関連づけることで、SimMTMは、複数の隣人の重み付けによるマスク付き時間点の復元を提案する。 SimMTMはさらに、マスクモデリングに役立つ多様体の局所構造を明らかにすることを学ぶ。 実験により、SimMTMは2つの標準時系列解析タスク(予測と分類)において最先端の微調整性能を達成する。

関連論文リスト

• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Masked Frequency Modeling for Self-Supervised Visual Pre-Training [102.89756957704138]
  MFM(Masked Frequency Modeling)は、視覚モデルの自己教師付き事前学習のための統合周波数領域に基づくアプローチである。 MFMはまず入力画像の周波数成分の一部をマスクアウトし、周波数スペクトルの欠落周波数を予測する。 MFMは初めて、ViTとCNNの両方で、単純な非シームフレームワークは、以下のものを使って意味のある表現を学習できることを示した。
  論文  参考訳（メタデータ） (2022-06-15T17:58:30Z)
• Explaining Time Series Predictions with Dynamic Masks [91.3755431537592]
  機械学習モデルの予測を説明するために動的マスク(Dynamask)を提案する。 人工的および実世界のデータを用いて、Dynamaskのダイナミックな基盤は、そのパーシモニーとともに、時間とともに重要な特徴を識別する優れた改善をもたらすことを実証する。 Dynamaskのモジュラリティは、医療や金融といった分野における幅広い機械学習モデルの透明性を高めるためのプラグインとして理想的だ。
  論文  参考訳（メタデータ） (2021-06-09T18:01:09Z)
• Recurrent convolutional neural network for the surrogate modeling of subsurface flow simulation [0.0]
  本稿では,数値フローシミュレーションの代理モデルとして,SegNetとConvLSTM層を組み合わせることを提案する。 その結果,シミュレーションの出力が時系列データである場合,SegNetに基づくサロゲートモデルの性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2020-10-08T09:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。