論文の概要: DyWPE: Signal-Aware Dynamic Wavelet Positional Encoding for Time Series Transformers

• arxiv url: http://arxiv.org/abs/2509.14640v1
• Date: Thu, 18 Sep 2025 05:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.081887
• Title: DyWPE: Signal-Aware Dynamic Wavelet Positional Encoding for Time Series Transformers
• Title（参考訳）: DyWPE:時系列変換器の信号対応動的ウェーブレット位置符号化
• Authors: Habib Irani, Vangelis Metsis,
• Abstract要約: 動的ウェーブレット位置決めを導入する。 離散ウェーブレット変換(DWT)を用いた入力時間から直接位置埋め込みを生成する新しい信号認識フレームワーク(DyWPE) DyWPEは、バイオメディカル信号の正弦波絶対位置符号化に比べて平均9.1%の相対的な改善を達成し、既存の8つの位置符号化法を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 1.4524096882720263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing positional encoding methods in transformers are fundamentally signal-agnostic, deriving positional information solely from sequence indices while ignoring the underlying signal characteristics. This limitation is particularly problematic for time series analysis, where signals exhibit complex, non-stationary dynamics across multiple temporal scales. We introduce Dynamic Wavelet Positional Encoding (DyWPE), a novel signal-aware framework that generates positional embeddings directly from input time series using the Discrete Wavelet Transform (DWT). Comprehensive experiments in ten diverse time series datasets demonstrate that DyWPE consistently outperforms eight existing state-of-the-art positional encoding methods, achieving average relative improvements of 9.1\% compared to baseline sinusoidal absolute position encoding in biomedical signals, while maintaining competitive computational efficiency.
• Abstract（参考訳）: 変圧器における既存の位置符号化法は基本的に信号に依存せず、信号特性を無視しながら、シーケンスインデックスのみから位置情報を導出する。 この制限は、信号が複数の時間スケールにわたって複雑で非定常的なダイナミクスを示す時系列解析において特に問題となる。 本稿では、DWT(Drete Wavelet Transform)を用いて、入力時系列から直接位置埋め込みを生成する新しい信号認識フレームワークであるDynamic Wavelet Positional Encoding(DyWPE)を紹介する。 10種類の時系列データセットの総合的な実験により、DyWPEは既存の8つの位置符号化法を一貫して上回り、生体信号の正弦波絶対位置符号化と比較して9.1倍の平均的な相対的な改善を達成し、競争計算効率を維持している。

関連論文リスト

• WaveFormer: A Lightweight Transformer Model for sEMG-based Gesture Recognition [18.978031999678507]
  WaveFormerは、sEMGジェスチャー認識用に設計された軽量トランスフォーマーベースのアーキテクチャである。 我々のモデルは、新しい学習可能なウェーブレット変換によって時間領域と周波数領域の機能を統合し、特徴抽出を強化する。 たった3100万のパラメータで、WaveFormerはEPN612データセットの95%の分類精度を達成し、より大きなモデルを上回っている。
  論文  参考訳（メタデータ） (2025-06-12T04:07:11Z)
• Toward Relative Positional Encoding in Spiking Transformers [52.62008099390541]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかを模倣するバイオインスパイアネットワークである。 スパイキングトランスフォーマーにおける相対的位置符号化(RPE)を近似するためのいくつかの戦略を導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:42:37Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Multi-Source and Test-Time Domain Adaptation on Multivariate Signals using Spatio-Temporal Monge Alignment [59.75420353684495]
  コンピュータビジョンやバイオメディカルデータなどの信号に対する機械学習の応用は、ハードウェアデバイスやセッション記録にまたがる変動のため、しばしば課題に直面している。 本研究では,これらの変動を緩和するために,時空間モンジュアライメント(STMA)を提案する。 我々はSTMAが、非常に異なる設定で取得したデータセット間で、顕著で一貫したパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-07-19T13:33:38Z)
• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Frequency-Aware Masked Autoencoders for Multimodal Pretraining on Biosignals [7.381259294661687]
  周波数空間における生体信号の表現をパラメータ化することを学ぶ周波数対応マスク付きオートエンコーダを提案する。 得られたアーキテクチャは、事前トレーニング中にマルチモーダル情報を効果的に利用し、テスト時に様々なタスクやモダリティにシームレスに適応できる。
  論文  参考訳（メタデータ） (2023-09-12T02:59:26Z)
• Improving Position Encoding of Transformers for Multivariate Time Series Classification [5.467400475482668]
  本稿では,時間絶対位置という時系列データ専用の絶対位置符号化手法を提案する。 次に,TAPE/eRPEとConvTranという名前の畳み込み型入力符号化を組み合わせた新しい時系列分類(MTSC)モデルを提案し,時系列データの位置とデータ埋め込みを改善する。
  論文  参考訳（メタデータ） (2023-05-26T05:30:04Z)
• WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence Learning Ability [31.791279777902957]
  近年の研究では、フーリエ空間における学習の注意がトランスフォーマーの長いシーケンス学習能力を向上させることが示されている。 ウェーブレット変換は、位置情報と周波数情報の両方を線形時間複雑度でキャプチャするので、よりよい選択であるべきだと我々は主張する。 学習可能なウェーブレット係数空間における注意学習を容易にするウェーブレット空間注意(WavSpA)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T02:37:59Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。