論文の概要: Learning to Embed Time Series Patches Independently

• arxiv url: http://arxiv.org/abs/2312.16427v2
• Date: Mon, 26 Feb 2024 14:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 21:27:41.803280
• Title: Learning to Embed Time Series Patches Independently
• Title（参考訳）: 時系列パッチを独立に埋め込む学習
• Authors: Seunghan Lee, Taeyoung Park, Kibok Lee
• Abstract要約: 近年,時系列モデリングは時系列の自己教師型表現学習戦略として注目されている。 このようなパッチをキャプチャすることは、時系列表現学習の最適戦略ではないかもしれない、と我々は主張する。 本論文では,1)他のパッチを見ることなく各パッチを自動エンコードするシンプルなパッチ再構築タスク,2)個別に各パッチを埋め込むシンプルなパッチワイド再構築タスクを提案する。
• 参考スコア（独自算出の注目度）: 6.464971172613252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked time series modeling has recently gained much attention as a self-supervised representation learning strategy for time series. Inspired by masked image modeling in computer vision, recent works first patchify and partially mask out time series, and then train Transformers to capture the dependencies between patches by predicting masked patches from unmasked patches. However, we argue that capturing such patch dependencies might not be an optimal strategy for time series representation learning; rather, learning to embed patches independently results in better time series representations. Specifically, we propose to use 1) the simple patch reconstruction task, which autoencode each patch without looking at other patches, and 2) the simple patch-wise MLP that embeds each patch independently. In addition, we introduce complementary contrastive learning to hierarchically capture adjacent time series information efficiently. Our proposed method improves time series forecasting and classification performance compared to state-of-the-art Transformer-based models, while it is more efficient in terms of the number of parameters and training/inference time. Code is available at this repository: https://github.com/seunghan96/pits.
• Abstract（参考訳）: 近年,時系列モデリングは時系列の自己教師型表現学習戦略として注目されている。 コンピュータビジョンにおけるマスク付きイメージモデリングにインスパイアされた最近の研究は、まず最初にパッチをパッチ化し、部分的に時系列をマスクアウトし、次にトランスフォーマーをトレーニングして、マスク付きパッチを非マスクパッチから予測することでパッチ間の依存関係をキャプチャする。 しかし、このようなパッチ依存関係をキャプチャすることは、時系列表現学習の最適戦略ではなく、個別にパッチを埋め込む学習は、より良い時系列表現をもたらす。 具体的には 1)他のパッチを見ることなく各パッチを自動エンコードする簡単なパッチ再構築タスク。 2) パッチを個別に埋め込むシンプルなパッチワイドMLP。 さらに,隣接時系列情報を階層的に効率的に捉えるために,補完的コントラスト学習を導入する。 提案手法は,現状のトランスフォーマーモデルと比較して時系列予測と分類性能を向上し,パラメータ数やトレーニング/推論時間の観点からより効率的である。 コードは、このリポジトリで入手できる。

関連論文リスト

• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [42.82742477950748]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 プリトレーニング中に最適なマスキング戦略を学習する新しいフレームワークであるMulti-level Optimized Mask Autoencoder (MLO-MAE)を紹介する。 視覚表現学習におけるMLO-MAEの進歩について検討した。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• Patch-CLIP: A Patch-Text Pre-Trained Model [6.838615442552715]
  パッチ表現学習は、ソフトウェア生成における機械学習の機能を活用するために必要な研究の方向性として登場した。 紹介する。 Theweak-CLIPは、パッチと自然言語テキストのための新しい事前トレーニングフレームワークである。 私たちはそれを示します。 Theweak-CLIPは、新しい最先端のパフォーマンスを設定し、BLEU、ROUGE-L、METEOR、リコールといったメトリクスにおける最先端のパフォーマンスを一貫して上回る。
  論文  参考訳（メタデータ） (2023-10-19T14:00:19Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [59.923672191632065]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• PATS: Patch Area Transportation with Subdivision for Local Feature Matching [78.67559513308787]
  局所特徴マッチングは、一対のイメージ間のスパース対応を確立することを目的としている。 この問題に対処するために,PATS(Patch Area Transportation with Subdivision)を提案する。 PATSは、マッチング精度とカバレッジの両方を改善し、下流タスクにおいて優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-14T08:28:36Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• Patch-level Representation Learning for Self-supervised Vision Transformers [68.8862419248863]
  視覚変換器(ViT)は近年、より優れたアーキテクチャ選択として多くの注目を集めており、様々な視覚タスクにおいて畳み込みネットワークよりも優れています。 これに触発された私たちは、パッチレベルの表現をより良く学習するための、SelfPatchという、シンプルで効果的なビジュアルプリテキストタスクを設計しました。 我々は、既存のSSLメソッドの様々な視覚的タスクに対する性能を大幅に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-06-16T08:01:19Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)
• SimPatch: A Nearest Neighbor Similarity Match between Image Patches [0.0]
  比較的小さなパッチではなく、大きなパッチを使って、各パッチにより多くの情報が含まれるようにしています。 特徴行列を構成する個々の画像パッチの特徴を抽出するために,異なる特徴抽出機構を用いる。 最寄りのパッチは、与えられた画像に対するクエリパッチに対して、2つの異なる近接アルゴリズムを用いて計算される。
  論文  参考訳（メタデータ） (2020-08-07T10:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。