論文の概要: SAOT: An Enhanced Locality-Aware Spectral Transformer for Solving PDEs

• arxiv url: http://arxiv.org/abs/2511.18777v1
• Date: Mon, 24 Nov 2025 05:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.030585
• Title: SAOT: An Enhanced Locality-Aware Spectral Transformer for Solving PDEs
• Title（参考訳）: SAOT:PDEを解くための局所性を考慮したスペクトル変換器
• Authors: Chenhong Zhou, Jie Chen, Zaifeng Yang,
• Abstract要約: 本稿では,ウェーブレット変換の空間周波数局在特性をトランスフォーマーアーキテクチャに取り入れることを検討した。 本稿では,局所性を考慮した特徴を効率的に学習するための線形計算複雑性を持つ新しいWavelet Attention (WA) モジュールを提案する。 我々はさらに、WAの局所的な焦点をフーリエベースのアテンションのグローバルな受容領域と統合するハイブリッドスペクトル変換器であるスペクトル注意演算子トランスフォーマー(SAOT)を開発した。
• 参考スコア（独自算出の注目度）: 8.678387342998613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural operators have shown great potential in solving a family of Partial Differential Equations (PDEs) by modeling the mappings between input and output functions. Fourier Neural Operator (FNO) implements global convolutions via parameterizing the integral operators in Fourier space. However, it often results in over-smoothing solutions and fails to capture local details and high-frequency components. To address these limitations, we investigate incorporating the spatial-frequency localization property of Wavelet transforms into the Transformer architecture. We propose a novel Wavelet Attention (WA) module with linear computational complexity to efficiently learn locality-aware features. Building upon WA, we further develop the Spectral Attention Operator Transformer (SAOT), a hybrid spectral Transformer framework that integrates WA's localized focus with the global receptive field of Fourier-based Attention (FA) through a gated fusion block. Experimental results demonstrate that WA significantly mitigates the limitations of FA and outperforms existing Wavelet-based neural operators by a large margin. By integrating the locality-aware and global spectral representations, SAOT achieves state-of-the-art performance on six operator learning benchmarks and exhibits strong discretization-invariant ability.
• Abstract（参考訳）: ニューラル作用素は、入力関数と出力関数のマッピングをモデル化することにより、部分微分方程式(PDE)の族を解く大きな可能性を示している。 Fourier Neural Operator (FNO) はフーリエ空間の積分作用素をパラメータ化することで大域的畳み込みを実装している。 しかし、しばしば過度に滑らかな解が得られ、局所的な詳細や高周波成分を捉えることができない。 これらの制約に対処するために、ウェーブレット変換の空間周波数局在特性をトランスフォーマーアーキテクチャに組み込むことについて検討する。 本稿では,局所性を考慮した特徴を効率的に学習するための線形計算複雑性を持つ新しいWavelet Attention (WA) モジュールを提案する。 WA 上に構築した Spectral Attention Operator Transformer (SAOT, Spectral Attention Operator Transformer) は,WA の局所的な焦点と,Fourier-based Attention (FA) のグローバルな受容場を統合するハイブリッドスペクトルトランスフォーマフレームワークである。 実験により、WAはFAの限界を著しく軽減し、既存のウェーブレットベースのニューラル演算子を大きなマージンで上回ることを示した。 局所性認識とグローバルスペクトル表現を統合することで、SAOTは6つの演算子学習ベンチマーク上で最先端のパフォーマンスを達成し、強力な離散化不変性を示す。

関連論文リスト

• Wavelet-Guided Dual-Frequency Encoding for Remote Sensing Change Detection [67.84730634802204]
  リモートセンシング画像の変化検出は,自然災害監視,都市拡張追跡,インフラ管理など,さまざまな工学的応用において重要な役割を担っている。 既存のほとんどの手法は空間領域モデリングに依存しており、特徴表現の限られた多様性は微妙な変化領域の検出を妨げる。 本研究では、特にウェーブレット領域における周波数領域の特徴モデリングが周波数成分の微細な違いを増幅し、空間領域において捉えにくいエッジ変化の知覚を高めることを観察する。
  論文  参考訳（メタデータ） (2025-08-07T11:14:16Z)
• GITO: Graph-Informed Transformer Operator for Learning Complex Partial Differential Equations [0.0]
  複素偏微分方程式系を学習するための新しいグラフインフォームド・トランスフォーマ演算子(GITO)アーキテクチャを提案する。 GITOは、HGT(Hybrid graph transformer)とTNO(Transformer Neural operator)の2つの主要モジュールから構成される。 ベンチマークPDEタスクの実験的結果は、GITOが既存のトランスフォーマーベースのニューラル演算子より優れていることを示している。
  論文  参考訳（メタデータ） (2025-06-16T18:35:45Z)
• STAF: Sinusoidal Trainable Activation Functions for Implicit Neural Representation [7.2888019138115245]
  Inlicit Neural Representations (INR) は、連続的な信号をモデリングするための強力なフレームワークとして登場した。 ReLUベースのネットワークのスペクトルバイアスは、十分に確立された制限であり、ターゲット信号の微細な詳細を捕捉する能力を制限する。 Sinusoidal Trainable Function Activation (STAF)について紹介する。 STAFは本質的に周波数成分を変調し、自己適応型スペクトル学習を可能にする。
  論文  参考訳（メタデータ） (2025-02-02T18:29:33Z)
• DimINO: Dimension-Informed Neural Operator Learning [41.37905663176428]
  Diminoは次元分析にインスパイアされたフレームワークである。 既存のニューラル演算子アーキテクチャにシームレスに統合することができる。 PDEデータセットで最大76.3%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Multiscale Attention via Wavelet Neural Operators for Vision Transformers [0.0]
  トランスフォーマーはコンピュータビジョンにおいて広く成功しており、その核心には自己認識(SA)機構がある。 標準SA機構はシークエンスの長さと二次的な複雑さを持ち、高解像度のビジョンに現れる長いシークエンスにその有用性を妨げている。 本稿では,シーケンスサイズが線形に複雑になるウェーブレットニューラル演算子を利用して,MWA(Multiscale Wavelet Attention)を導入する。
  論文  参考訳（メタデータ） (2023-03-22T09:06:07Z)
• Deep Fourier Up-Sampling [100.59885545206744]
  フーリエ領域のアップサンプリングは、そのような局所的な性質に従わないため、より難しい。 これらの問題を解決するために理論的に健全なDeep Fourier Up-Sampling (FourierUp)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T06:17:31Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Beyond Self Attention: A Subquadratic Fourier Wavelet Transformer with Multi Modal Fusion [0.0]
  変圧器のアテンション機構を代替するスペクトル技術について再検討する。 次世代変圧器モデルにおけるこの手法の包括的で斬新な改質について述べる。
  論文  参考訳（メタデータ） (2021-11-25T18:03:41Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。