論文の概要: Enhancing Time Series Forecasting with Fuzzy Attention-Integrated Transformers

• arxiv url: http://arxiv.org/abs/2504.00070v1
• Date: Mon, 31 Mar 2025 17:33:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:32.774445
• Title: Enhancing Time Series Forecasting with Fuzzy Attention-Integrated Transformers
• Title（参考訳）: ファジィ・アテンション・インテグレート・トランスを用いた時系列予測の強化
• Authors: Sanjay Chakraborty, Fredrik Heintz,
• Abstract要約: FANTF (Fuzzy Attention Network-Based Transformers) はファジィ論理と既存のトランスアーキテクチャを統合する新しいアプローチである。 このフレームワークはファジィ強化された注意と既存のトランスフォーマーベースのアーキテクチャのベンチマークを組み合わせることで、効率的な予測、分類、異常検出を提供する。 いくつかの実世界のデータセットに対する実験的評価により、FANTFは予測、分類、異常検出タスクのパフォーマンスを著しく向上させることが明らかになった。
• 参考スコア（独自算出の注目度）: 4.580983642743026
• License:
• Abstract: This paper introduces FANTF (Fuzzy Attention Network-Based Transformers), a novel approach that integrates fuzzy logic with existing transformer architectures to advance time series forecasting, classification, and anomaly detection tasks. FANTF leverages a proposed fuzzy attention mechanism incorporating fuzzy membership functions to handle uncertainty and imprecision in noisy and ambiguous time series data. The FANTF approach enhances its ability to capture complex temporal dependencies and multivariate relationships by embedding fuzzy logic principles into the self-attention module of the existing transformer's architecture. The framework combines fuzzy-enhanced attention with a set of benchmark existing transformer-based architectures to provide efficient predictions, classification and anomaly detection. Specifically, FANTF generates learnable fuzziness attention scores that highlight the relative importance of temporal features and data points, offering insights into its decision-making process. Experimental evaluatios on some real-world datasets reveal that FANTF significantly enhances the performance of forecasting, classification, and anomaly detection tasks over traditional transformer-based models.
• Abstract（参考訳）: 本稿では,ファジィ論理と既存トランスフォーマーアーキテクチャを統合し,時系列予測,分類,異常検出タスクを先進化するFANTF(Fuzzy Attention Network-Based Transformers)を提案する。 FANTFは、ファジィメンバシップ関数を組み込んだファジィアテンション機構を利用して、ノイズや曖昧な時系列データにおける不確実性と不確実性を処理する。 FANTFアプローチは、ファジィ論理の原理を既存のトランスフォーマーアーキテクチャの自己アテンションモジュールに埋め込むことで、複雑な時間的依存関係と多変量関係をキャプチャする能力を高める。 このフレームワークはファジィ強化された注意と既存のトランスフォーマーベースのアーキテクチャのベンチマークを組み合わせることで、効率的な予測、分類、異常検出を提供する。 具体的には、FANTFは、時間的特徴とデータポイントの相対的重要性を強調する学習可能なファジィアテンションスコアを生成し、意思決定プロセスに関する洞察を提供する。 いくつかの実世界のデータセットに対する実験的評価により、FANTFは従来のトランスフォーマーモデルよりも予測、分類、異常検出タスクのパフォーマンスを著しく向上させることが明らかになった。

関連論文リスト

• Powerformer: A Transformer with Weighted Causal Attention for Time-series Forecasting [50.298817606660826]
  我々は,非因果重みをスムーズな重み付き崩壊に応じて再加重する因果重みに置き換える新しいトランスフォーマーであるPowerformerを紹介する。 我々の実証実験の結果,Powerformer は公開時系列ベンチマークで最先端の精度を達成できた。 分析の結果、トレーニング中にモデルの局所性バイアスが増幅され、時系列データとパワールールに基づく注意の相互作用が示されることがわかった。
  論文  参考訳（メタデータ） (2025-02-10T04:42:11Z)
• Sequence Complementor: Complementing Transformers For Time Series Forecasting with Learnable Sequences [5.244482076690776]
  シーケンス表現の表現能力は、時間予測においてTransformerのパフォーマンスに影響を与える重要な要因であることがわかった。 本稿では,シークエンス・コンプリメンタを用いた新しいアテンション機構を提案し,情報理論の観点から実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-01-06T03:08:39Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Coarse-to-Fine Proposal Refinement Framework for Audio Temporal Forgery Detection and Localization [60.899082019130766]
  本稿では、フレームレベル検出ネットワーク(FDN)と、音声の時間的偽造検出とローカライゼーションのための改良ネットワーク(PRN)を提案する。 FDNは、偽のフレーム間で情報的不整合の手がかりを抽出し、偽の領域を大まかに示すのに有用な識別的特徴を得る。 PRNは、FDNから派生した粗粒度の提案を洗練するために、信頼スコアと回帰オフセットを予測する責任がある。
  論文  参考訳（メタデータ） (2024-07-23T15:07:52Z)
• Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
  多くの実用化には時系列予測が不可欠である。 トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。 提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-02-08T03:00:50Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• Diagnostic Spatio-temporal Transformer with Faithful Encoding [54.02712048973161]
  本稿では,データ生成プロセスが複合時間(ST)依存性を持つ場合の異常診断の課題について述べる。 我々は、ST依存を時系列分類の副産物として学習する、教師付き依存発見として問題を定式化する。 既存のST変圧器で使用される時間的位置符号化は、高周波数(短時間スケール)の周波数をキャプチャする重大な制限を有することを示す。 また、空間的および時間的方向の両方で容易に消費可能な診断情報を提供する新しいST依存性発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T05:31:23Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• ETSformer: Exponential Smoothing Transformers for Time-series Forecasting [35.76867542099019]
  時系列予測のための変換器の改良に指数的スムース化の原理を利用する新しい時系列変換器アーキテクチャであるETSFormerを提案する。 特に,時系列予測における古典的指数的スムージング手法に着想を得て,バニラ変圧器の自己保持機構を置き換えるために,新しい指数的スムージングアテンション(ESA)と周波数アテンション(FA)を提案する。
  論文  参考訳（メタデータ） (2022-02-03T02:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。