論文の概要: SAOT: An Enhanced Locality-Aware Spectral Transformer for Solving PDEs

• arxiv url: http://arxiv.org/abs/2511.18777v1
• Date: Mon, 24 Nov 2025 05:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.030585
• Title: SAOT: An Enhanced Locality-Aware Spectral Transformer for Solving PDEs
• Title（参考訳）: SAOT:PDEを解くための局所性を考慮したスペクトル変換器
• Authors: Chenhong Zhou, Jie Chen, Zaifeng Yang,
• Abstract要約: 本稿では,ウェーブレット変換の空間周波数局在特性をトランスフォーマーアーキテクチャに取り入れることを検討した。 本稿では,局所性を考慮した特徴を効率的に学習するための線形計算複雑性を持つ新しいWavelet Attention (WA) モジュールを提案する。 我々はさらに、WAの局所的な焦点をフーリエベースのアテンションのグローバルな受容領域と統合するハイブリッドスペクトル変換器であるスペクトル注意演算子トランスフォーマー(SAOT)を開発した。
• 参考スコア（独自算出の注目度）: 8.678387342998613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural operators have shown great potential in solving a family of Partial Differential Equations (PDEs) by modeling the mappings between input and output functions. Fourier Neural Operator (FNO) implements global convolutions via parameterizing the integral operators in Fourier space. However, it often results in over-smoothing solutions and fails to capture local details and high-frequency components. To address these limitations, we investigate incorporating the spatial-frequency localization property of Wavelet transforms into the Transformer architecture. We propose a novel Wavelet Attention (WA) module with linear computational complexity to efficiently learn locality-aware features. Building upon WA, we further develop the Spectral Attention Operator Transformer (SAOT), a hybrid spectral Transformer framework that integrates WA's localized focus with the global receptive field of Fourier-based Attention (FA) through a gated fusion block. Experimental results demonstrate that WA significantly mitigates the limitations of FA and outperforms existing Wavelet-based neural operators by a large margin. By integrating the locality-aware and global spectral representations, SAOT achieves state-of-the-art performance on six operator learning benchmarks and exhibits strong discretization-invariant ability.
• Abstract（参考訳）: ニューラル作用素は、入力関数と出力関数のマッピングをモデル化することにより、部分微分方程式(PDE)の族を解く大きな可能性を示している。 Fourier Neural Operator (FNO) はフーリエ空間の積分作用素をパラメータ化することで大域的畳み込みを実装している。 しかし、しばしば過度に滑らかな解が得られ、局所的な詳細や高周波成分を捉えることができない。 これらの制約に対処するために、ウェーブレット変換の空間周波数局在特性をトランスフォーマーアーキテクチャに組み込むことについて検討する。 本稿では,局所性を考慮した特徴を効率的に学習するための線形計算複雑性を持つ新しいWavelet Attention (WA) モジュールを提案する。 WA 上に構築した Spectral Attention Operator Transformer (SAOT, Spectral Attention Operator Transformer) は,WA の局所的な焦点と,Fourier-based Attention (FA) のグローバルな受容場を統合するハイブリッドスペクトルトランスフォーマフレームワークである。 実験により、WAはFAの限界を著しく軽減し、既存のウェーブレットベースのニューラル演算子を大きなマージンで上回ることを示した。 局所性認識とグローバルスペクトル表現を統合することで、SAOTは6つの演算子学習ベンチマーク上で最先端のパフォーマンスを達成し、強力な離散化不変性を示す。

関連論文リスト

• SpectraKAN: Conditioning Spectral Operators [21.190440188964452]
  本稿では、スペクトル演算子を入力自身で条件付けし、スペクトルを入力条件付き積分演算子に変換するニューラル演算子SpectraKANを紹介する。 これは、静的時間履歴からコンパクトなグローバル表現を抽出し、それをシングルクエリのクロスアテンションによってマルチスケールのトランクを変調することで達成される。 さまざまなPDEベンチマークを通じて、SpectraKanは最先端のパフォーマンスを実現し、強力なベースラインよりもRMSEを最大49%削減した。
  論文  参考訳（メタデータ） (2026-02-05T01:30:25Z)
• Fourier-RWKV: A Multi-State Perception Network for Efficient Image Dehazing [26.57698394898644]
  マルチステート・パーセプション・パラダイムに基づく新しい脱ハージング・フレームワークを提案する。 Fourier-RWKVはさまざまなヘイズシナリオにまたがって最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2025-12-09T01:35:56Z)
• Feature-Modulated UFNO for Improved Prediction of Multiphase Flow in Porous Media [0.39146761527401425]
  2つの重要なイノベーションを取り入れた拡張アーキテクチャであるUFNO-FiLMを紹介する。 まず,特徴量線形変調層を用いて空間特徴からスカラー入力を分離する。 第二に、臨界領域における学習を優先する空間重み付き損失関数を用いる。
  論文  参考訳（メタデータ） (2025-11-25T17:44:28Z)
• Wavelet-Guided Dual-Frequency Encoding for Remote Sensing Change Detection [67.84730634802204]
  リモートセンシング画像の変化検出は,自然災害監視,都市拡張追跡,インフラ管理など,さまざまな工学的応用において重要な役割を担っている。 既存のほとんどの手法は空間領域モデリングに依存しており、特徴表現の限られた多様性は微妙な変化領域の検出を妨げる。 本研究では、特にウェーブレット領域における周波数領域の特徴モデリングが周波数成分の微細な違いを増幅し、空間領域において捉えにくいエッジ変化の知覚を高めることを観察する。
  論文  参考訳（メタデータ） (2025-08-07T11:14:16Z)
• GITO: Graph-Informed Transformer Operator for Learning Complex Partial Differential Equations [0.0]
  複素偏微分方程式系を学習するための新しいグラフインフォームド・トランスフォーマ演算子(GITO)アーキテクチャを提案する。 GITOは、HGT(Hybrid graph transformer)とTNO(Transformer Neural operator)の2つの主要モジュールから構成される。 ベンチマークPDEタスクの実験的結果は、GITOが既存のトランスフォーマーベースのニューラル演算子より優れていることを示している。
  論文  参考訳（メタデータ） (2025-06-16T18:35:45Z)
• STAF: Sinusoidal Trainable Activation Functions for Implicit Neural Representation [7.2888019138115245]
  Inlicit Neural Representations (INR) は、連続的な信号をモデリングするための強力なフレームワークとして登場した。 ReLUベースのネットワークのスペクトルバイアスは、十分に確立された制限であり、ターゲット信号の微細な詳細を捕捉する能力を制限する。 Sinusoidal Trainable Function Activation (STAF)について紹介する。 STAFは本質的に周波数成分を変調し、自己適応型スペクトル学習を可能にする。
  論文  参考訳（メタデータ） (2025-02-02T18:29:33Z)
• DimINO: Dimension-Informed Neural Operator Learning [41.37905663176428]
  Diminoは次元分析にインスパイアされたフレームワークである。 既存のニューラル演算子アーキテクチャにシームレスに統合することができる。 PDEデータセットで最大76.3%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Spectral Enhanced Rectangle Transformer for Hyperspectral Image Denoising [64.11157141177208]
  ハイパースペクトル画像の空間的およびスペクトル的相関をモデル化するスペクトル拡張矩形変換器を提案する。 前者に対しては、長方形自己アテンションを水平および垂直に利用し、空間領域における非局所的類似性を捉える。 後者のために,空間スペクトル立方体の大域的低ランク特性を抽出し,雑音を抑制するスペクトル拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2023-04-03T09:42:13Z)
• Multiscale Attention via Wavelet Neural Operators for Vision Transformers [0.0]
  トランスフォーマーはコンピュータビジョンにおいて広く成功しており、その核心には自己認識(SA)機構がある。 標準SA機構はシークエンスの長さと二次的な複雑さを持ち、高解像度のビジョンに現れる長いシークエンスにその有用性を妨げている。 本稿では,シーケンスサイズが線形に複雑になるウェーブレットニューラル演算子を利用して,MWA(Multiscale Wavelet Attention)を導入する。
  論文  参考訳（メタデータ） (2023-03-22T09:06:07Z)
• Deep Fourier Up-Sampling [100.59885545206744]
  フーリエ領域のアップサンプリングは、そのような局所的な性質に従わないため、より難しい。 これらの問題を解決するために理論的に健全なDeep Fourier Up-Sampling (FourierUp)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T06:17:31Z)
• FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
  本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
  論文  参考訳（メタデータ） (2022-03-24T07:26:29Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Beyond Self Attention: A Subquadratic Fourier Wavelet Transformer with Multi Modal Fusion [0.0]
  変圧器のアテンション機構を代替するスペクトル技術について再検討する。 次世代変圧器モデルにおけるこの手法の包括的で斬新な改質について述べる。
  論文  参考訳（メタデータ） (2021-11-25T18:03:41Z)
• Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
  本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
  論文  参考訳（メタデータ） (2021-11-24T05:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。