論文の概要: Sub-Adjacent Transformer: Improving Time Series Anomaly Detection with Reconstruction Error from Sub-Adjacent Neighborhoods

• arxiv url: http://arxiv.org/abs/2404.18948v1
• Date: Sat, 27 Apr 2024 08:08:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 18:39:28.264966
• Title: Sub-Adjacent Transformer: Improving Time Series Anomaly Detection with Reconstruction Error from Sub-Adjacent Neighborhoods
• Title（参考訳）: 隣接変圧器:隣接近傍からの再構成誤差による時系列異常検出の改善
• Authors: Wenzhen Yue, Xianghua Ying, Ruohao Guo, DongDong Chen, Ji Shi, Bowei Xing, Yuqing Zhu, Taiyan Chen,
• Abstract要約: 教師なし時系列異常検出のための新しいアテンション機構を備えたサブアジャセント変換器を提案する。 サブアジャセント領域に注意を集中させることで、異常の再構築をより困難にしている。 Sub-Adjacent Transformerは、6つの実世界の異常検出ベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 22.49176231245093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present the Sub-Adjacent Transformer with a novel attention mechanism for unsupervised time series anomaly detection. Unlike previous approaches that rely on all the points within some neighborhood for time point reconstruction, our method restricts the attention to regions not immediately adjacent to the target points, termed sub-adjacent neighborhoods. Our key observation is that owing to the rarity of anomalies, they typically exhibit more pronounced differences from their sub-adjacent neighborhoods than from their immediate vicinities. By focusing the attention on the sub-adjacent areas, we make the reconstruction of anomalies more challenging, thereby enhancing their detectability. Technically, our approach concentrates attention on the non-diagonal areas of the attention matrix by enlarging the corresponding elements in the training stage. To facilitate the implementation of the desired attention matrix pattern, we adopt linear attention because of its flexibility and adaptability. Moreover, a learnable mapping function is proposed to improve the performance of linear attention. Empirically, the Sub-Adjacent Transformer achieves state-of-the-art performance across six real-world anomaly detection benchmarks, covering diverse fields such as server monitoring, space exploration, and water treatment.
• Abstract（参考訳）: 本稿では,非教師付き時系列異常検出のための新しいアテンション機構を備えたサブアジャセント変換器を提案する。 時間点再構成において, 周辺地域のすべての点に依存する従来の手法とは異なり, 本手法は, 隣接地区と呼ばれる, 対象地点に隣接しない領域に注意を限定する。 我々の重要な観察は、異常の希少性のため、彼らは通常、彼らのすぐそばの地域と、彼らのすぐそばの地域とより顕著な相違を示します。 サブアジャセント領域に注意を集中させることで、異常の再構築をより困難にし、その検出性を高める。 技術的には、トレーニング段階で対応する要素を拡大することにより、注意行列の非対角領域に注意を集中させる。 所望のアテンション行列パターンの実装を容易にするために,その柔軟性と適応性から線形アテンションを採用する。 さらに,線形アテンションの性能を向上させるために,学習可能なマッピング関数を提案する。 実証的には、Sub-Adjacent Transformerは6つの実世界の異常検出ベンチマークで最先端のパフォーマンスを実現し、サーバ監視、宇宙探査、水処理などのさまざまな分野をカバーする。

関連論文リスト

• GeneralAD: Anomaly Detection Across Domains by Attending to Distorted Features [68.14842693208465]
  GeneralADは、意味的、ほぼ分布的、産業的設定で動作するように設計された異常検出フレームワークである。 本稿では,ノイズ付加やシャッフルなどの簡単な操作を施した自己教師付き異常生成モジュールを提案する。 提案手法を10のデータセットに対して広範囲に評価し,6つの実験結果と,残りの6つの実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-17T09:27:41Z)
• Toward Motion Robustness: A masked attention regularization framework in remote photoplethysmography [5.743550396843244]
  MAR-rはROIローカライゼーションと複雑なモーションアーティファクトの影響を統合するフレームワークである。 MAR-rは、顔クリップのセマンティック一貫性を捉えるために、マスクされた注意規則化機構をrフィールドに採用している。 また、モデルが不正確なROIに過度に適合し、その後パフォーマンスが低下するのを防ぐために、マスキング技術を採用している。
  論文  参考訳（メタデータ） (2024-07-09T08:25:30Z)
• Mitigating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [41.826919704238556]
  本研究では,物体内部の不完全な注意と非有界背景雑音を緩和する適応的再活性化機構(AReAM)を提案する。 AReAMは、浅い親和性行列で高いレベルの注意を監督することでこれを達成し、有望な結果をもたらす。
  論文  参考訳（メタデータ） (2023-05-04T19:11:33Z)
• Exploring Consistency in Cross-Domain Transformer for Domain Adaptive Semantic Segmentation [51.10389829070684]
  ドメインギャップは、自己注意の相違を引き起こす可能性がある。 このギャップのため、変圧器は、ターゲット領域の精度を低下させる刺激領域または画素に付随する。 ドメイン横断の注意層を持つアテンションマップに適応する。
  論文  参考訳（メタデータ） (2022-11-27T02:40:33Z)
• The Devil in Linear Transformer [42.232886799710215]
  線形変圧器は、バニラ変圧器の二次的時空複雑性を低減することを目的としている。 通常、様々なタスクやコーパスの劣化したパフォーマンスに悩まされる。 本稿では,このような性能のギャップを生じさせる2つの重要な問題を特定する。
  論文  参考訳（メタデータ） (2022-10-19T07:15:35Z)
• Usage of specific attention improves change point detection [1.0723143072368782]
  本研究では,変化点検出タスクに対する異なる注意点と,その課題に関連する特定の注意形態を提案する。 注意の特殊な形態を用いることで、最先端の成果よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-04-18T06:05:50Z)
• Boosting Crowd Counting via Multifaceted Attention [109.89185492364386]
  大規模なバリエーションは、しばしば群衆画像の中に存在する。 CNNの固定サイズ畳み込みカーネルも、最近の視覚変換器の固定サイズアテンションも、このような変動には対処できない。 局所空間関係符号化におけるトランスフォーマーモデルを改善するための多面的注意ネットワーク(MAN)を提案する。
  論文  参考訳（メタデータ） (2022-03-05T01:36:43Z)
• Point-Level Region Contrast for Object Detection Pre-Training [147.47349344401806]
  本稿では,物体検出作業のための自己教師付き事前学習手法である点レベル領域コントラストを提案する。 提案手法は,異なる領域から個々の点対を直接抽出することにより,コントラスト学習を行う。 領域ごとの集約表現と比較すると,入力領域の品質の変化に対して,我々のアプローチはより堅牢である。
  論文  参考訳（メタデータ） (2022-02-09T18:56:41Z)
• Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy [68.86835407617778]
  Anomaly Transformerは、6つの教師なし時系列異常検出ベンチマークで最先端のパフォーマンスを達成する。 Anomaly Transformerは、6つの教師なし時系列異常検出ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-10-06T10:33:55Z)
• Ripple Attention for Visual Perception with Sub-quadratic Complexity [7.425337104538644]
  トランスフォーマーアーキテクチャは現在、自然言語処理タスクのモデリングの中心となっている。 視覚知覚のためのサブクワッドアテンション機構であるリップルアテンションを提案する。 ripple attentionでは、クエリに対する異なるトークンのコントリビューションは、2次元空間における相対空間距離に対して重み付けされる。
  論文  参考訳（メタデータ） (2021-10-06T02:00:38Z)
• Transformer Interpretability Beyond Attention Visualization [87.96102461221415]
  自己保持技術、特にトランスフォーマーは、テキスト処理の分野を支配しています。 本研究では,トランスフォーマーネットワークの関連性を計算する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-12-17T18:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。