論文の概要: On the Regularization of Learnable Embeddings for Time Series Processing
- arxiv url: http://arxiv.org/abs/2410.14630v1
- Date: Fri, 18 Oct 2024 17:30:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:26:24.293556
- Title: On the Regularization of Learnable Embeddings for Time Series Processing
- Title（参考訳）: 時系列処理のための学習可能な埋め込みの正規化について
- Authors: Luca Butera, Giovanni De Felice, Andrea Cini, Cesare Alippi,
- Abstract要約: 時系列処理のための局所学習可能な埋め込みの学習を規則化する手法について検討する。
この文脈では,局所的パラメータと大域的パラメータの共適応を防ぐ手法が特に有効であることを示す。
- 参考スコア（独自算出の注目度）: 18.069747511100132
- License:
- Abstract: In processing multiple time series, accounting for the individual features of each sequence can be challenging. To address this, modern deep learning methods for time series analysis combine a shared (global) model with local layers, specific to each time series, often implemented as learnable embeddings. Ideally, these local embeddings should encode meaningful representations of the unique dynamics of each sequence. However, when these are learned end-to-end as parameters of a forecasting model, they may end up acting as mere sequence identifiers. Shared processing blocks may then become reliant on such identifiers, limiting their transferability to new contexts. In this paper, we address this issue by investigating methods to regularize the learning of local learnable embeddings for time series processing. Specifically, we perform the first extensive empirical study on the subject and show how such regularizations consistently improve performance in widely adopted architectures. Furthermore, we show that methods preventing the co-adaptation of local and global parameters are particularly effective in this context. This hypothesis is validated by comparing several methods preventing the downstream models from relying on sequence identifiers, going as far as completely resetting the embeddings during training. The obtained results provide an important contribution to understanding the interplay between learnable local parameters and shared processing layers: a key challenge in modern time series processing models and a step toward developing effective foundation models for time series.
- Abstract（参考訳）: 複数の時系列を処理する場合、各シーケンスの個々の特徴を考慮に入れることは困難である。
これを解決するために、時系列分析のための現代のディープラーニング手法は、共有(グローバル)モデルと各時系列に特有のローカルレイヤを結合し、しばしば学習可能な埋め込みとして実装される。
理想的には、これらの局所埋め込みは各列のユニークなダイナミクスの有意義な表現をエンコードする必要がある。
しかし、これらが予測モデルのパラメータとしてエンドツーエンドに学習されると、単なるシーケンス識別子として振る舞うことになる。
共有処理ブロックはそのような識別子に依存するようになり、新しいコンテキストへの転送可能性を制限する。
本稿では,時系列処理における局所学習可能な埋め込みの学習を規則化するための手法を検討することにより,この問題に対処する。
具体的には、この主題に関する最初の広範な実証的研究を行い、そのような正規化が広く採用されているアーキテクチャにおけるパフォーマンスを継続的に改善することを示す。
さらに,この文脈では,局所的パラメータと大域的パラメータの共適応を防ぐ手法が特に有効であることを示す。
この仮説は、下流モデルがシーケンス識別子に依存するのを防ぐいくつかの方法を比較して検証され、トレーニング中に埋め込みを完全にリセットする。
得られた結果は,学習可能な局所パラメータと共有処理層との相互作用を理解する上で重要な貢献である:現代の時系列処理モデルにおける重要な課題と,時系列処理のための効果的な基礎モデル開発へのステップである。
関連論文リスト
- UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。
従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。
本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
論文 参考訳（メタデータ） (2024-05-17T07:47:11Z) - Advancing Time Series Classification with Multimodal Language Modeling [6.624754582682479]
InstructTimeは、時系列分類を学習から生成までのパラダイムとして再形成するための新しい試みである。
中心となる考え方は、タスク固有の命令と生の時系列の両方をマルチモーダル入力として扱うマルチモーダル理解タスクとして時系列の分類を定式化することである。
ベンチマークデータセット上で大規模な実験が行われ、その結果、InstructTimeの優れたパフォーマンスが明らかになった。
論文 参考訳（メタデータ） (2024-03-19T02:32:24Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳（メタデータ） (2024-02-04T13:10:51Z) - Real-World Compositional Generalization with Disentangled
Sequence-to-Sequence Learning [81.24269148865555]
最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。
このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。
具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
論文 参考訳（メタデータ） (2022-12-12T15:40:30Z) - Learning Sequence Representations by Non-local Recurrent Neural Memory [61.65105481899744]
教師付きシーケンス表現学習のためのNon-local Recurrent Neural Memory (NRNM)を提案する。
我々のモデルは長距離依存を捉えることができ、潜伏した高レベル特徴を我々のモデルで抽出することができる。
我々のモデルは、これらのシーケンスアプリケーションごとに特別に設計された他の最先端の手法と比較して好意的に比較する。
論文 参考訳（メタデータ） (2022-07-20T07:26:15Z) - Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。
当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。
単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
論文 参考訳（メタデータ） (2021-10-26T20:41:19Z) - Novel Features for Time Series Analysis: A Complex Networks Approach [62.997667081978825]
時系列データは、気候、経済、医療などいくつかの領域で広く使われている。
最近の概念的アプローチは、複雑なネットワークへの時系列マッピングに依存している。
ネットワーク分析は、異なるタイプの時系列を特徴付けるのに使うことができる。
論文 参考訳（メタデータ） (2021-10-11T13:46:28Z) - Time Series Analysis via Network Science: Concepts and Algorithms [62.997667081978825]
本稿では,時系列をネットワークに変換する既存のマッピング手法について概観する。
我々は、主要な概念的アプローチを説明し、権威的な参照を提供し、統一された表記法と言語におけるそれらの利点と限界について洞察を与える。
ごく最近の研究だが、この研究領域には大きな可能性を秘めており、今後の研究の道を開くことを目的としている。
論文 参考訳（メタデータ） (2021-10-11T13:33:18Z) - Multi-Time Attention Networks for Irregularly Sampled Time Series [18.224344440110862]
不規則サンプリングは多くの時系列モデリングアプリケーションで発生する。
我々は,この設定のための新しいディープラーニングフレームワークを提案し,これをマルチ時間注意ネットワークと呼ぶ。
その結果,我々のアプローチは,ベースラインや最近提案されたモデルと同等かそれ以上の性能を示すことができた。
論文 参考訳（メタデータ） (2021-01-25T18:57:42Z) - Multi-Faceted Representation Learning with Hybrid Architecture for Time
Series Classification [16.64345034889185]
SARCoN(Self-Attentive Recurrent Convolutional Networks)と呼ばれるハイブリッドニューラルネットワークを提案する。
SARCoNは、長期記憶ネットワークと自己拡張機構と完全な畳み込みネットワークの合成である。
我々の研究は、時系列分類の理解を深める新しいアングルを提供し、提案したモデルを現実世界のアプリケーションに最適な選択肢とみなす。
論文 参考訳（メタデータ） (2020-12-21T16:42:07Z) - Interpretable Time Series Classification using Linear Models and
Multi-resolution Multi-domain Symbolic Representations [6.6147550436077776]
我々は,現在のアプローチにおけるギャップに対処する新しい時系列分類アルゴリズムを提案する。
提案手法は,時系列の記号表現,効率的なシーケンスマイニングアルゴリズム,線形分類モデルに基づく。
我々のモデルは深層学習モデルと同じくらい正確だが、実行時間やメモリに関してより効率的であり、可変長の時系列を扱うことができ、元の時系列における識別的象徴的特徴を強調することで解釈できる。
論文 参考訳（メタデータ） (2020-05-31T15:32:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。