論文の概要: SUPRA: Subspace Parameterized Attention for Neural Operator on General Domains

• arxiv url: http://arxiv.org/abs/2504.15897v1
• Date: Tue, 22 Apr 2025 13:40:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 18:15:30.348945
• Title: SUPRA: Subspace Parameterized Attention for Neural Operator on General Domains
• Title（参考訳）: SUPRA:一般領域におけるニューラル演算子に対する部分空間パラメータ化アテンション
• Authors: Zherui Yang, Zhengyang Xue, Ligang Liu,
• Abstract要約: Subspace ized Attention (SUPRA) ニューラルネットワークは、有限次元の部分空間内の注意機構を近似する。 SUPRAは,最先端の計算効率を維持しつつ,各種PDEデータセットの誤り率を最大33%削減することを示す。
• 参考スコア（独自算出の注目度）: 19.70999041826902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural operators are efficient surrogate models for solving partial differential equations (PDEs), but their key components face challenges: (1) in order to improve accuracy, attention mechanisms suffer from computational inefficiency on large-scale meshes, and (2) spectral convolutions rely on the Fast Fourier Transform (FFT) on regular grids and assume a flat geometry, which causes accuracy degradation on irregular domains. To tackle these problems, we regard the matrix-vector operations in the standard attention mechanism on vectors in Euclidean space as bilinear forms and linear operators in vector spaces and generalize the attention mechanism to function spaces. This new attention mechanism is fully equivalent to the standard attention but impossible to compute due to the infinite dimensionality of function spaces. To address this, inspired by model reduction techniques, we propose a Subspace Parameterized Attention (SUPRA) neural operator, which approximates the attention mechanism within a finite-dimensional subspace. To construct a subspace on irregular domains for SUPRA, we propose using the Laplacian eigenfunctions, which naturally adapt to domains' geometry and guarantee the optimal approximation for smooth functions. Experiments show that the SUPRA neural operator reduces error rates by up to 33% on various PDE datasets while maintaining state-of-the-art computational efficiency.
• Abstract（参考訳）: ニューラル作用素は偏微分方程式(PDE)を解くための効率的なサロゲートモデルであるが、その重要な構成要素は(1)精度を改善するために、注意機構は大規模メッシュの計算不効率に悩まされ、(2)スペクトル畳み込みは正則格子上の高速フーリエ変換(FFT)に依存し、平坦な幾何学を仮定し、不規則領域の精度劣化を引き起こす。 これらの問題に対処するために、ユークリッド空間におけるベクトルの標準的な注意機構における行列ベクトル演算を、ベクトル空間における双線型形式および線型作用素とみなし、函数空間に対する注意機構を一般化する。 この新たなアテンション機構は標準のアテンションと完全に等価であるが、関数空間の無限次元性のために計算することは不可能である。 これを解決するために,有限次元部分空間内の注意機構を近似したサブスペースパラメーターアテンション(SUPRA)ニューラル演算子を提案する。 SUPRA に対する不規則領域上の部分空間を構築するために、自然に領域の幾何学に適応し、滑らかな関数に対する最適近似を保証するラプラシア固有関数を提案する。 実験によると、SUPRAニューラル演算子は、最先端の計算効率を維持しながら、様々なPDEデータセットでエラー率を最大33%削減する。

関連論文リスト

• Integrating Locality-Aware Attention with Transformers for General Geometry PDEs [24.336598771550157]
  偏微分方程式(PDE)を用いた学習用局所性意識変換器(LA2Former)を提案する。 効率的なグローバルコンテキスト符号化のための線形アテンションと、複雑な局所的相互作用を捉えるためのペアワイズアテンションを組み合わせることで、LA2Formerは計算効率と予測精度の最適なバランスを実現する。 この研究は、複雑で不規則なドメイン上のPDEを解決するために、Transformerベースのニューラル演算子を前進させる上で、局所的特徴学習が重要であることを強調する。
  論文  参考訳（メタデータ） (2025-04-18T05:43:49Z)
• Partial Transportability for Domain Generalization [56.37032680901525]
  本稿では, 部分的同定と輸送可能性の理論に基づいて, 対象分布の関数値の有界化に関する新たな結果を紹介する。 我々の貢献は、輸送可能性問題に対する最初の一般的な評価手法を提供することである。 本稿では,スケーラブルな推論を実現するための勾配に基づく最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T22:06:37Z)
• 3D Equivariant Pose Regression via Direct Wigner-D Harmonics Prediction [50.07071392673984]
  既存の方法は、角度や四元数を用いて空間領域でパラメータ化された3次元回転を学習する。 本稿では,3次元回転回帰のためのWigner-D係数を直接予測する周波数領域アプローチを提案する。 提案手法は, ModelNet10-SO(3) や PASCAL3D+ などのベンチマーク上での最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-11-01T12:50:38Z)
• Shape-informed surrogate models based on signed distance function domain encoding [8.052704959617207]
  パラメータ化偏微分方程式(PDE)の解を近似する代理モデルを構築するための非侵入的手法を提案する。 我々のアプローチは2つのニューラルネットワーク(NN)の組み合わせに基づいている。
  論文  参考訳（メタデータ） (2024-09-19T01:47:04Z)
• Spectral Algorithms on Manifolds through Diffusion [1.7227952883644062]
  再生カーネル空間におけるスペクトルアルゴリズムの収束性能について検討する。 一般化ノルムに関する厳密な収束上限を導出するために積分作用素技術を用いる。 本研究は,高次元近似のより広い文脈において,スペクトルアルゴリズムが実質的に重要であることを確認した。
  論文  参考訳（メタデータ） (2024-03-06T12:43:53Z)
• Dynamic Gaussian Graph Operator: Learning parametric partial differential equations in arbitrary discrete mechanics problems [33.32926047057572]
  本稿では、任意の離散力学問題において、ニューラル演算子をパラメトリックPDEに拡張する演算子学習アルゴリズムを提案する。 DGGOの効率性とロバスト性は、数値的な任意の離散力学問題を解くために適用することで検証される。 工学的応用として, 幾何学的自由度を持つ超弾性材料の応力場を予測するために, 提案手法を用いた。
  論文  参考訳（メタデータ） (2024-03-05T09:25:31Z)
• Improved Operator Learning by Orthogonal Attention [17.394770071994145]
  我々は、カーネル積分作用素の固有分解と固有関数のニューラル近似に基づいて注意を喚起する。 我々の手法は、競合するベースラインを十分なマージンで上回ることができる。
  論文  参考訳（メタデータ） (2023-10-19T05:47:28Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Beyond Regular Grids: Fourier-Based Neural Operators on Arbitrary Domains [13.56018270837999]
  本稿では,ニューラルネットワークを任意の領域に拡張する簡単な手法を提案する。 このような直接スペクトル評価の効率的な実装*は、既存のニューラル演算子モデルと結合する。 提案手法により,ニューラルネットワークを任意の点分布に拡張し,ベースライン上でのトレーニング速度を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T09:01:20Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)
• Detecting Rotated Objects as Gaussian Distributions and Its 3-D Generalization [81.29406957201458]
  既存の検出方法は、パラメータ化バウンディングボックス(BBox)を使用して(水平)オブジェクトをモデル化し、検出する。 このような機構は回転検出に有効な回帰損失を構築するのに基本的な限界があると主張する。 回転した物体をガウス分布としてモデル化することを提案する。 2次元から3次元へのアプローチを、方向推定を扱うアルゴリズム設計により拡張する。
  論文  参考訳（メタデータ） (2022-09-22T07:50:48Z)
• Minimax Estimation of Linear Functions of Eigenvectors in the Face of Small Eigen-Gaps [95.62172085878132]
  固有ベクトル摂動解析は様々な統計データ科学の応用において重要な役割を果たす。 未知の固有ベクトルの任意の線型関数の摂動を特徴付ける統計理論の一組を開発する。 自然の「プラグイン」推定器に固有の非無視バイアス問題を緩和するために,非バイアス推定器を開発する。
  論文  参考訳（メタデータ） (2021-04-07T17:55:10Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。