論文の概要: On the Regularization of Learnable Embeddings for Time Series Processing

• arxiv url: http://arxiv.org/abs/2410.14630v1
• Date: Fri, 18 Oct 2024 17:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:24.293556
• Title: On the Regularization of Learnable Embeddings for Time Series Processing
• Title（参考訳）: 時系列処理のための学習可能な埋め込みの正規化について
• Authors: Luca Butera, Giovanni De Felice, Andrea Cini, Cesare Alippi,
• Abstract要約: 時系列処理のための局所学習可能な埋め込みの学習を規則化する手法について検討する。 この文脈では,局所的パラメータと大域的パラメータの共適応を防ぐ手法が特に有効であることを示す。
• 参考スコア（独自算出の注目度）: 18.069747511100132
• License:
• Abstract: In processing multiple time series, accounting for the individual features of each sequence can be challenging. To address this, modern deep learning methods for time series analysis combine a shared (global) model with local layers, specific to each time series, often implemented as learnable embeddings. Ideally, these local embeddings should encode meaningful representations of the unique dynamics of each sequence. However, when these are learned end-to-end as parameters of a forecasting model, they may end up acting as mere sequence identifiers. Shared processing blocks may then become reliant on such identifiers, limiting their transferability to new contexts. In this paper, we address this issue by investigating methods to regularize the learning of local learnable embeddings for time series processing. Specifically, we perform the first extensive empirical study on the subject and show how such regularizations consistently improve performance in widely adopted architectures. Furthermore, we show that methods preventing the co-adaptation of local and global parameters are particularly effective in this context. This hypothesis is validated by comparing several methods preventing the downstream models from relying on sequence identifiers, going as far as completely resetting the embeddings during training. The obtained results provide an important contribution to understanding the interplay between learnable local parameters and shared processing layers: a key challenge in modern time series processing models and a step toward developing effective foundation models for time series.
• Abstract（参考訳）: 複数の時系列を処理する場合、各シーケンスの個々の特徴を考慮に入れることは困難である。 これを解決するために、時系列分析のための現代のディープラーニング手法は、共有(グローバル)モデルと各時系列に特有のローカルレイヤを結合し、しばしば学習可能な埋め込みとして実装される。 理想的には、これらの局所埋め込みは各列のユニークなダイナミクスの有意義な表現をエンコードする必要がある。 しかし、これらが予測モデルのパラメータとしてエンドツーエンドに学習されると、単なるシーケンス識別子として振る舞うことになる。 共有処理ブロックはそのような識別子に依存するようになり、新しいコンテキストへの転送可能性を制限する。 本稿では,時系列処理における局所学習可能な埋め込みの学習を規則化するための手法を検討することにより,この問題に対処する。 具体的には、この主題に関する最初の広範な実証的研究を行い、そのような正規化が広く採用されているアーキテクチャにおけるパフォーマンスを継続的に改善することを示す。 さらに,この文脈では,局所的パラメータと大域的パラメータの共適応を防ぐ手法が特に有効であることを示す。 この仮説は、下流モデルがシーケンス識別子に依存するのを防ぐいくつかの方法を比較して検証され、トレーニング中に埋め込みを完全にリセットする。 得られた結果は,学習可能な局所パラメータと共有処理層との相互作用を理解する上で重要な貢献である:現代の時系列処理モデルにおける重要な課題と,時系列処理のための効果的な基礎モデル開発へのステップである。

関連論文リスト

• Towards Generalisable Time Series Understanding Across Domains [10.350643783811174]
  時系列の不均一性を扱うために特別に設計された新しい事前学習パラダイムを導入する。 本稿では、学習可能なドメインシグネチャ、二重マスキング戦略、正規化相互相関損失を持つトークンサを提案する。 私たちのコードと事前訓練されたウェイトはhttps://www.oetu.com/oetu/otis.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-09T17:09:30Z)
• UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
  時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。 従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。 本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
  論文  参考訳（メタデータ） (2024-05-17T07:47:11Z)
• Advancing Time Series Classification with Multimodal Language Modeling [6.624754582682479]
  InstructTimeは、時系列分類を学習から生成までのパラダイムとして再形成するための新しい試みである。 中心となる考え方は、タスク固有の命令と生の時系列の両方をマルチモーダル入力として扱うマルチモーダル理解タスクとして時系列の分類を定式化することである。 ベンチマークデータセット上で大規模な実験が行われ、その結果、InstructTimeの優れたパフォーマンスが明らかになった。
  論文  参考訳（メタデータ） (2024-03-19T02:32:24Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Robust Detection of Lead-Lag Relationships in Lagged Multi-Factor Models [61.10851158749843]
  データ固有のリード-ラグ関係を発見することで、重要な洞察を得ることができる。 階層化多要素モデルにおけるリードラグ関係のロバスト検出のためのクラスタリング駆動手法を開発した。
  論文  参考訳（メタデータ） (2023-05-11T10:30:35Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
  教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。 我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。 我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
  論文  参考訳（メタデータ） (2022-07-20T07:26:15Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)
• Novel Features for Time Series Analysis: A Complex Networks Approach [62.997667081978825]
  時系列データは、気候、経済、医療などいくつかの領域で広く使われている。 最近の概念的アプローチは、複雑なネットワークへの時系列マッピングに依存している。 ネットワーク分析は、異なるタイプの時系列を特徴付けるのに使うことができる。
  論文  参考訳（メタデータ） (2021-10-11T13:46:28Z)
• Unsupervised Representation Learning for Time Series with Temporal Neighborhood Coding [8.45908939323268]
  非定常時系列に対する一般化可能な表現を学習するための自己教師型フレームワークを提案する。 我々のモチベーションは、時系列データの動的性質をモデル化する能力が特に有用である医療分野に起因している。
  論文  参考訳（メタデータ） (2021-06-01T19:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。