論文の概要: Content-aware Balanced Spectrum Encoding in Masked Modeling for Time Series Classification

• arxiv url: http://arxiv.org/abs/2412.13232v1
• Date: Tue, 17 Dec 2024 14:12:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:23:48.065350
• Title: Content-aware Balanced Spectrum Encoding in Masked Modeling for Time Series Classification
• Title（参考訳）: 時系列分類のためのマスケッドモデリングにおけるコンテンツ認識平衡スペクトル符号化
• Authors: Yudong Han, Haocong Wang, Yupeng Hu, Yongshun Gong, Xuemeng Song, Weili Guan,
• Abstract要約: マスクド・モデリング・スキームにおけるスペクトル空間の符号化品質を最適化する補助的コンテンツ認識バランスド・デコーダ(CBD)を提案する。 CBDは一連の基本ブロックを反復し、2つの調整されたユニットのおかげで、各ブロックは徐々にマスクされた表現を洗練させることができた。
• 参考スコア（独自算出の注目度）: 25.27495694566081
• License:
• Abstract: Due to the superior ability of global dependency, transformer and its variants have become the primary choice in Masked Time-series Modeling (MTM) towards time-series classification task. In this paper, we experimentally analyze that existing transformer-based MTM methods encounter with two under-explored issues when dealing with time series data: (1) they encode features by performing long-dependency ensemble averaging, which easily results in rank collapse and feature homogenization as the layer goes deeper; (2) they exhibit distinct priorities in fitting different frequency components contained in the time-series, inevitably leading to spectrum energy imbalance of encoded feature. To tackle these issues, we propose an auxiliary content-aware balanced decoder (CBD) to optimize the encoding quality in the spectrum space within masked modeling scheme. Specifically, the CBD iterates on a series of fundamental blocks, and thanks to two tailored units, each block could progressively refine the masked representation via adjusting the interaction pattern based on local content variations of time-series and learning to recalibrate the energy distribution across different frequency components. Moreover, a dual-constraint loss is devised to enhance the mutual optimization of vanilla decoder and our CBD. Extensive experimental results on ten time-series classification datasets show that our method nearly surpasses a bunch of baselines. Meanwhile, a series of explanatory results are showcased to sufficiently demystify the behaviors of our method.
• Abstract（参考訳）: グローバル依存の優れた能力のため、トランスフォーマーとその変種は、MTM(Masked Time-Series Modeling)において、時系列分類タスクの主要な選択肢となっている。 本稿では, 時系列データを扱う際に, 既存のトランスフォーマーベースのMTM手法が, 時系列データを扱う際に, 2つの未探索問題に直面することを実験的に分析する。(1) 階層が深くなるにつれて, 階層の崩壊や特徴の均質化が容易に生じる長依存性アンサンブル平均化によって, 特徴を符号化する; (2) 時系列に含まれる異なる周波数成分を適合させることにおいて, 必然的に符号化された特徴のスペクトルエネルギー不均衡を生じさせる、という明確な優先順位を示す。 これらの問題に対処するために、マスク付きモデリング方式におけるスペクトル空間の符号化品質を最適化する補助コンテンツ認識平衡デコーダ(CBD)を提案する。 具体的には、CBDは一連の基本ブロックを反復し、2つの調整されたユニットのおかげで、各ブロックは、時系列の局所的な内容の変化に基づいて相互作用パターンを調整し、異なる周波数成分間でのエネルギー分布の調整を学習することで、マスクされた表現を徐々に洗練することができる。 さらに、バニラデコーダとCBDの相互最適化を強化するために、二重制約損失を考案した。 10の時系列分類データセットの大規模な実験結果から,本手法がベースラインをほぼ超越していることが判明した。 一方,本手法の挙動を十分に解明するために,一連の説明的結果を示す。

関連論文リスト

• DUET: Dual Clustering Enhanced Multivariate Time Series Forecasting [13.05900224897486]
  実世界の時系列は、時間とともに分布の変化によって引き起こされる異質な時間パターンを示すことが多い。 チャネル間の相関は複雑で絡み合っており、チャネル間の相互作用を正確にかつ柔軟にモデル化することは困難である。 本稿では,時空間とチャネル次元に2つのクラスタリングを導入するDUETというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-14T15:15:17Z)
• MFF-FTNet: Multi-scale Feature Fusion across Frequency and Temporal Domains for Time Series Forecasting [18.815152183468673]
  時系列予測は多くの分野において重要であるが、現在のディープラーニングモデルはノイズやデータの分散、複雑なパターンのキャプチャに苦労している。 本稿では,コントラスト学習とマルチスケール特徴抽出を組み合わせることで,これらの課題に対処する新しいフレームワークであるMFF-FTNetを提案する。 5つの実世界のデータセットに対する大規模な実験は、MFF-FTNetが最先端のモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-11-26T12:41:42Z)
• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Multi-Source and Test-Time Domain Adaptation on Multivariate Signals using Spatio-Temporal Monge Alignment [59.75420353684495]
  コンピュータビジョンやバイオメディカルデータなどの信号に対する機械学習の応用は、ハードウェアデバイスやセッション記録にまたがる変動のため、しばしば課題に直面している。 本研究では,これらの変動を緩和するために,時空間モンジュアライメント(STMA)を提案する。 我々はSTMAが、非常に異なる設定で取得したデータセット間で、顕著で一貫したパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-07-19T13:33:38Z)
• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• Imputing Missing Observations with Time Sliced Synthetic Minority Oversampling Technique [0.3973560285628012]
  本稿では,データセット内の各サンプルに対して均一な不規則な時系列を構成することを目的とした,単純かつ斬新な時系列計算手法を提案する。 我々は、観測時間の重複しないビン(「スライス」と呼ばれる)の中間点で定義される格子を固定し、各サンプルが所定の時間にすべての特徴に対して値を持つことを保証する。 これにより、完全に欠落した観察をインプットし、データ全体の時系列の均一な分類を可能にし、特別な場合には個々の欠落した特徴をインプットすることができる。
  論文  参考訳（メタデータ） (2022-01-14T19:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。