論文の概要: Integrating Locality-Aware Attention with Transformers for General Geometry PDEs

• arxiv url: http://arxiv.org/abs/2504.13480v1
• Date: Fri, 18 Apr 2025 05:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 19:00:46.706952
• Title: Integrating Locality-Aware Attention with Transformers for General Geometry PDEs
• Title（参考訳）: 一般幾何学PDEのための変圧器による局所性意識の統合
• Authors: Minsu Koh, Beom-Chul Park, Heejo Kong, Seong-Whan Lee,
• Abstract要約: 偏微分方程式(PDE)を用いた学習用局所性意識変換器(LA2Former)を提案する。 効率的なグローバルコンテキスト符号化のための線形アテンションと、複雑な局所的相互作用を捉えるためのペアワイズアテンションを組み合わせることで、LA2Formerは計算効率と予測精度の最適なバランスを実現する。 この研究は、複雑で不規則なドメイン上のPDEを解決するために、Transformerベースのニューラル演算子を前進させる上で、局所的特徴学習が重要であることを強調する。
• 参考スコア（独自算出の注目度）: 24.336598771550157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural operators have emerged as promising frameworks for learning mappings governed by partial differential equations (PDEs), serving as data-driven alternatives to traditional numerical methods. While methods such as the Fourier neural operator (FNO) have demonstrated notable performance, their reliance on uniform grids restricts their applicability to complex geometries and irregular meshes. Recently, Transformer-based neural operators with linear attention mechanisms have shown potential in overcoming these limitations for large-scale PDE simulations. However, these approaches predominantly emphasize global feature aggregation, often overlooking fine-scale dynamics and localized PDE behaviors essential for accurate solutions. To address these challenges, we propose the Locality-Aware Attention Transformer (LA2Former), which leverages K-nearest neighbors for dynamic patchifying and integrates global-local attention for enhanced PDE modeling. By combining linear attention for efficient global context encoding with pairwise attention for capturing intricate local interactions, LA2Former achieves an optimal balance between computational efficiency and predictive accuracy. Extensive evaluations across six benchmark datasets demonstrate that LA2Former improves predictive accuracy by over 50% relative to existing linear attention methods, while also outperforming full pairwise attention under optimal conditions. This work underscores the critical importance of localized feature learning in advancing Transformer-based neural operators for solving PDEs on complex and irregular domains.
• Abstract（参考訳）: ニューラル演算子は、偏微分方程式(PDE)によって支配されるマッピングを学習するための有望なフレームワークとして登場し、従来の数値法に代わるデータ駆動の代替手段として機能している。 フーリエニューラル演算子(FNO)のような手法は顕著な性能を示したが、一様格子への依存は複雑な測地や不規則メッシュへの適用性を制限している。 近年,線形アテンション機構を持つトランスフォーマーベースのニューラル演算子は,大規模PDEシミュレーションにおいてこれらの制限を克服する可能性を示している。 しかしながら、これらのアプローチは主にグローバルな特徴集約を強調しており、しばしば精密な解に不可欠な微細な力学や局所的なPDEの振る舞いを見落としている。 これらの課題に対処するために, K-nearest 近傍を動的にパッチするLocality-Aware Attention Transformer (LA2Former) を提案する。 効率的なグローバルコンテキスト符号化のための線形アテンションと、複雑な局所的相互作用を捉えるためのペアワイズアテンションを組み合わせることで、LA2Formerは計算効率と予測精度の最適なバランスを実現する。 6つのベンチマークデータセットの大規模な評価は、LA2Formerが既存の線形アテンション手法と比較して予測精度を50%以上改善し、同時に最適な条件下で完全なペアアテンションを達成していることを示している。 この研究は、複雑で不規則なドメイン上のPDEを解決するために、Transformerベースのニューラル演算子を前進させる上で、局所的特徴学習が重要であることを強調する。

関連論文リスト

• Efficient Transformed Gaussian Process State-Space Models for Non-Stationary High-Dimensional Dynamical Systems [49.819436680336786]
  本研究では,高次元非定常力学系のスケーラブルかつ柔軟なモデリングのための効率的な変換ガウス過程状態空間モデル(ETGPSSM)を提案する。 具体的には、ETGPSSMは、単一の共有GPと入力依存の正規化フローを統合し、複雑な非定常遷移ダイナミクスを捉える前に、表現的な暗黙のプロセスを生成する。 ETGPSSMは、計算効率と精度の観点から、既存のGPSSMとニューラルネットワークベースのSSMより優れています。
  論文  参考訳（メタデータ） (2025-03-24T03:19:45Z)
• Tensor-Var: Variational Data Assimilation in Tensor Product Feature Space [30.63086465547801]
  変動データ同化は、数値モデルと観測データに適合するコスト関数を最小化することにより、力学系の状態を推定する。 広く使われている4次元同化法(4D-Var)は、(1)複雑な非線形系に対する計算的要求と(2)状態観測写像に依存するという2つの主要な課題を持つ。 ディープラーニング(DL)は、これらの課題に対処するために、より表現力のある効率的なモデル近似器のクラスとして使われてきた。 本稿では,カーネル条件値を用いた条件平均埋め込み(CME)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T01:43:31Z)
• HSLiNets: Hyperspectral Image and LiDAR Data Fusion Using Efficient Dual Non-Linear Feature Learning Networks [7.06787067270941]
  新しい線形特徴空間におけるハイパースペクトルイメージング(HSI)とLiDARデータの統合は、HSIに固有の高次元性と冗長性に起因する課題に対する有望な解決策を提供する。 本研究では、双方向逆畳み込み畳み込みニューラルネットワーク(CNN)経路と特殊空間解析ブロックを併用した、二重線型融合空間フレームワークを提案する。 提案手法は,データ処理や分類精度を向上するだけでなく,トランスフォーマーなどの先進モデルに係わる計算負担を軽減する。
  論文  参考訳（メタデータ） (2024-11-30T01:08:08Z)
• Optimal Transport-Based Displacement Interpolation with Data Augmentation for Reduced Order Modeling of Nonlinear Dynamical Systems [0.0]
  本稿では,複雑なシステムにおける非線形力学の表現を強化するために,最適輸送理論と変位を利用した新しいリダクション・オーダー・モデル(ROM)を提案する。 複雑なシステム挙動の予測における精度と効率の向上を示し、計算物理学や工学における幅広い応用の可能性を示している。
  論文  参考訳（メタデータ） (2024-11-13T16:29:33Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Dual Cone Gradient Descent for Training Physics-Informed Neural Networks [0.0]
  物理インフォームド・デュアルニューラルネットワーク(PINN)は偏微分方程式の解法として注目されている。 コーン領域内に落下するのを確実にするために、更新された勾配の方向を調節する新しいフレームワークであるDual Cone Gradient Descent (DCGD)を提案する。
  論文  参考訳（メタデータ） (2024-09-27T03:27:46Z)
• Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps [4.471962177124311]
  分散機械学習では、異なるデータを持つ複数のエージェントにまたがる線形変数が大きな課題となる。 本稿では,原変数上のラグランジアン収束を実現するフレームワークは,エージェント間通信を必要としないことを示す。
  論文  参考訳（メタデータ） (2024-07-02T22:14:54Z)
• Enhancing Low-Order Discontinuous Galerkin Methods with Neural Ordinary Differential Equations for Compressible Navier--Stokes Equations [0.1578515540930834]
  圧縮可能なNavier-Stokes方程式を解くためのエンドツーエンドの微分可能なフレームワークを提案する。 この統合アプローチは、微分可能不連続なガレルキン解法とニューラルネットワークのソース項を組み合わせる。 提案するフレームワークの性能を2つの例で示す。
  論文  参考訳（メタデータ） (2023-10-29T04:26:23Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。