論文の概要: Rethinking Attention Mechanism in Time Series Classification
- arxiv url: http://arxiv.org/abs/2207.07564v1
- Date: Thu, 14 Jul 2022 07:15:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-18 13:25:22.779711
- Title: Rethinking Attention Mechanism in Time Series Classification
- Title（参考訳）: 時系列分類における注意機構の再考
- Authors: Bowen Zhao, Huanlai Xing, Xinhan Wang, Fuhong Song, Zhiwen Xiao
- Abstract要約: 我々は、フレキシブル・マルチヘッド・リニア・アテンション(FMLA)を提案することにより、アテンション機構の効率性と性能を向上する。
本稿では,時系列におけるノイズの影響を低減し,FMLAの冗長性を低減できる簡易だが効果的なマスク機構を提案する。
85のUCR2018データセットを用いて、このアルゴリズムを11のよく知られたデータセットと比較し、このアルゴリズムがトップ1の精度で同等の性能を持つことを示す。
- 参考スコア（独自算出の注目度）: 6.014777261874646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attention-based models have been widely used in many areas, such as computer
vision and natural language processing. However, relevant applications in time
series classification (TSC) have not been explored deeply yet, causing a
significant number of TSC algorithms still suffer from general problems of
attention mechanism, like quadratic complexity. In this paper, we promote the
efficiency and performance of the attention mechanism by proposing our flexible
multi-head linear attention (FMLA), which enhances locality awareness by
layer-wise interactions with deformable convolutional blocks and online
knowledge distillation. What's more, we propose a simple but effective mask
mechanism that helps reduce the noise influence in time series and decrease the
redundancy of the proposed FMLA by masking some positions of each given series
proportionally. To stabilize this mechanism, samples are forwarded through the
model with random mask layers several times and their outputs are aggregated to
teach the same model with regular mask layers. We conduct extensive experiments
on 85 UCR2018 datasets to compare our algorithm with 11 well-known ones and the
results show that our algorithm has comparable performance in terms of top-1
accuracy. We also compare our model with three Transformer-based models with
respect to the floating-point operations per second and number of parameters
and find that our algorithm achieves significantly better efficiency with lower
complexity.
- Abstract（参考訳）: 注意に基づくモデルはコンピュータビジョンや自然言語処理など多くの分野で広く利用されている。
しかし、時系列分類(tsc)における関連する応用は、まだ深く研究されておらず、多くのtscアルゴリズムは、二次複雑性のような注意機構の一般的な問題に苦しんでいる。
本稿では,変形可能な畳み込みブロックとの階層的相互作用とオンライン知識蒸留による局所性意識を高めるための,フレキシブル・マルチヘッド・リニア・アテンション(FMLA)を提案することにより,アテンション機構の効率と性能を向上する。
さらに,各系列の位置を比例的にマスキングすることで,時系列におけるノイズの影響を低減し,提案するFMLAの冗長性を低減できる簡易かつ効果的なマスク機構を提案する。
この機構を安定化するために、サンプルはランダムマスク層を持つモデルを通して数回転送され、それらの出力を集約して、通常のマスク層で同じモデルを教える。
85のucr2018データセットを用いて11の既知のデータセットと比較実験を行い,本アルゴリズムがtop-1の精度で同等の性能を示すことを示した。
また,1秒あたりの浮動小数点演算とパラメータ数に関して3つのトランスフォーマティブモデルと比較し,アルゴリズムの効率と複雑性の低減を見出した。
関連論文リスト
- LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Hyperparameter Estimation for Sparse Bayesian Learning Models [1.0172874946490507]
Aparse Bayesian Learning (SBL) モデルは、信号処理や機械学習において、階層的な事前処理による疎結合を促進するために広く使われている。
本稿では,種々の目的関数に対するSBLモデルの改良のためのフレームワークを提案する。
信号雑音比において, 高い効率性を示す新しいアルゴリズムが導入された。
論文 参考訳（メタデータ） (2024-01-04T21:24:01Z) - Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
論文 参考訳（メタデータ） (2023-11-20T17:35:44Z) - Perceiver-based CDF Modeling for Time Series Forecasting [25.26713741799865]
本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。
提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。
単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
論文 参考訳（メタデータ） (2023-10-03T01:13:17Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Sparse Binary Transformers for Multivariate Time Series Modeling [1.3965477771846404]
軽量圧縮ニューラルネットワークは,高密度浮動小数点変換器に匹敵する精度が得られることを示す。
本モデルは,3つの時系列学習課題 – 分類,異常検出,単段階予測 – で良好な結果が得られる。
本稿では,パラメータ数,ビットサイズ,浮動小数点演算(FLOP)数など,さまざまな指標に対するアプローチの計算的節約度を測定した。
論文 参考訳（メタデータ） (2023-08-09T00:23:04Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳（メタデータ） (2022-09-01T10:46:09Z) - Adaptive Multi-Resolution Attention with Linear Complexity [18.64163036371161]
本稿では,AdaMRA(Adaptive Multi-Resolution Attention)という新しい構造を提案する。
我々はマルチレゾリューション・マルチヘッド・アテンション・メカニズムを活用し、アテンションヘッドが粗い方法で長距離コンテキスト情報をキャプチャすることを可能にする。
科学コミュニティによるAdaMRAの利用を促進するため、コード実装を一般公開する予定である。
論文 参考訳（メタデータ） (2021-08-10T23:17:16Z) - Covert Model Poisoning Against Federated Learning: Algorithm Design and
Optimization [76.51980153902774]
フェデレーテッド・ラーニング(FL)はパラメータ伝達中にFLモデルに対する外部攻撃に対して脆弱である。
本稿では,最先端の防御アグリゲーション機構に対処する有効なMPアルゴリズムを提案する。
実験の結果,提案したCMPアルゴリズムは,既存の攻撃機構よりも効果的で,かなり優れていることが示された。
論文 参考訳（メタデータ） (2021-01-28T03:28:18Z) - Temporal Attention-Augmented Graph Convolutional Network for Efficient
Skeleton-Based Human Action Recognition [97.14064057840089]
グラフネットワーク(GCN)はユークリッド以外のデータ構造をモデル化するのに非常に成功した。
ほとんどのGCNベースのアクション認識手法は、計算量の多いディープフィードフォワードネットワークを使用して、全てのスケルトンをアクションで処理する。
本稿では,骨格に基づく行動認識の効率を高めるための時間的アテンションモジュール(TAM)を提案する。
論文 参考訳（メタデータ） (2020-10-23T08:01:55Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。