論文の概要: FISformer: Replacing Self-Attention with a Fuzzy Inference System in Transformer Models for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2603.21724v1
• Date: Mon, 23 Mar 2026 09:12:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.583936
• Title: FISformer: Replacing Self-Attention with a Fuzzy Inference System in Transformer Models for Time Series Forecasting
• Title（参考訳）: FISformer:時系列予測用変圧器モデルにおけるファジィ推論システムによる自己認識のリプレース
• Authors: Bulent Haznedar, Levent Karacan,
• Abstract要約: FISFormerはファジィ推論システム駆動トランスフォーマーで、従来の注意をFISインタラクションメカニズムに置き換える。 FISFormerは、最先端のTransformer変種と比較して予測精度、ノイズの堅牢性、解釈性に優れる。
• 参考スコア（独自算出の注目度）: 3.542013483233134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have achieved remarkable progress in time series forecasting, yet their reliance on deterministic dot-product attention limits their capacity to model uncertainty and nonlinear dependencies across multivariate temporal dimensions. To address this limitation, we propose FISFormer, a Fuzzy Inference System-driven Transformer that replaces conventional attention with a FIS Interaction mechanism. In this framework, each query-key pair undergoes a fuzzy inference process for every feature dimension, where learnable membership functions and rule-based reasoning estimate token-wise relational strengths. These FIS-derived interaction weights capture uncertainty and provide interpretable, continuous mappings between tokens. A softmax operation is applied along the token axis to normalize these weights, which are then combined with the corresponding value features through element-wise multiplication to yield the final context-enhanced token representations. This design fuses the interpretability and uncertainty modeling of fuzzy logic with the representational power of Transformers. Extensive experiments on multiple benchmark datasets demonstrate that FISFormer achieves superior forecasting accuracy, noise robustness, and interpretability compared to state-of-the-art Transformer variants, establishing fuzzy inference as an effective alternative to conventional attention mechanisms.
• Abstract（参考訳）: 変圧器は時系列予測において顕著な進歩を遂げてきたが、決定論的点積の注意への依存は、多変量時間次元にわたる不確実性や非依存をモデル化する能力を制限する。 この制限に対処するために、ファジィ推論システム駆動型変換器であるFISFormerを提案する。 このフレームワークでは、各クエリキーペアは、学習可能なメンバシップ関数とルールベースの推論推定トークンワイドリレーショナル強度を持つ各特徴次元に対してファジィ推論プロセスを実行する。 これらのFIS由来の相互作用重みは不確実性を捉え、トークン間の解釈可能で連続的なマッピングを提供する。 トークン軸に沿ってソフトマックス演算を適用してこれらの重みを正規化し、それらと対応する値特徴を要素ワイド乗算によって組み合わせて、最終的な文脈付きトークン表現を生成する。 この設計は、ファジィ論理の解釈可能性と不確かさを変換器の表現力と融合させる。 複数のベンチマークデータセットに対する大規模な実験により、FISFormerは最先端のTransformer変種と比較して予測精度、ノイズロバスト性、解釈可能性に優れており、ファジィ推論を従来の注意機構に代わる効果的な代替手段として確立している。

関連論文リスト

• DiTS: Multimodal Diffusion Transformers Are Time Series Forecasters [50.43534351968113]
  既存の生成時系列モデルは、時系列データの多次元特性にうまく対応していない。 動画生成にテキストガイダンスを組み込んだマルチモーダル拡散変換器に着想を得て,Diffusion Transformer for Time Series (DiTS)を提案する。
  論文  参考訳（メタデータ） (2026-02-06T10:48:13Z)
• Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting [0.0]
  本稿では,局所的時間的表現学習をグローバル依存モデルから分離する2段階予測フレームワークを提案する。 畳み込みニューラルネットワークは、固定長の時間的パッチで動作し、短距離時間的ダイナミクスと非線形特徴相互作用を抽出する。 その後、Transformerエンコーダがパッチ間の時間依存性をモデル化し、予測を生成する。
  論文  参考訳（メタデータ） (2026-01-18T16:16:01Z)
• Transformers Are Universally Consistent [14.904264782690639]
  ソフトマックスに基づく非線形アテンションを備えたトランスフォーマーは,最小二乗の回帰処理を行う場合,一様に整合性を示す。 我々は経験的誤差の上限を導出し、この条件下では$mathcalO(t-1/2d)$の証明可能な速度で減衰し、$t$は入力トークンの数を表し、$d$は埋め込み次元を表す。
  論文  参考訳（メタデータ） (2025-05-30T12:39:26Z)
• Enhancing Time Series Forecasting with Fuzzy Attention-Integrated Transformers [4.580983642743026]
  FANTF (Fuzzy Attention Network-Based Transformers) はファジィ論理と既存のトランスアーキテクチャを統合する新しいアプローチである。 このフレームワークはファジィ強化された注意と既存のトランスフォーマーベースのアーキテクチャのベンチマークを組み合わせることで、効率的な予測、分類、異常検出を提供する。 いくつかの実世界のデータセットに対する実験的評価により、FANTFは予測、分類、異常検出タスクのパフォーマンスを著しく向上させることが明らかになった。
  論文  参考訳（メタデータ） (2025-03-31T17:33:50Z)
• Sequence Complementor: Complementing Transformers For Time Series Forecasting with Learnable Sequences [5.244482076690776]
  シーケンス表現の表現能力は、時間予測においてTransformerのパフォーマンスに影響を与える重要な要因であることがわかった。 本稿では,シークエンス・コンプリメンタを用いた新しいアテンション機構を提案し,情報理論の観点から実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-01-06T03:08:39Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• FIT: A Metric for Model Sensitivity [1.2622086660704197]
  本稿では、フィッシャー情報と量子化のモデルを組み合わせたFITを提案する。 FITは再トレーニングなしにネットワークの最終的な性能を推定できる。 FITは既存の手法と比較して高速に計算でき、良好な収束特性を示す。
  論文  参考訳（メタデータ） (2022-10-16T10:25:29Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。