論文の概要: Simple yet Effective: Low-Rank Spatial Attention for Neural Operators

• arxiv url: http://arxiv.org/abs/2604.03582v1
• Date: Sat, 04 Apr 2026 04:15:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.65288
• Title: Simple yet Effective: Low-Rank Spatial Attention for Neural Operators
• Title（参考訳）: 単純だが効果的:ニューラル演算子に対する低ランク空間的注意
• Authors: Zherui Yang, Haiyang Xin, Tao Du, Ligang Liu,
• Abstract要約: 本稿では,このテンプレートのクリーンかつ直接的なインスタンス化として,LRSA(Low-Rank Spatial Attention)を導入する。 非標準集約や正規化モジュールに依存する従来のアプローチとは異なり、LRSAは標準トランスフォーマープリミティブから純粋に構築されている。 我々の実験では、そのような単純な構成は高い精度を達成するのに十分であり、平均誤差は17%以上である。
• 参考スコア（独自算出の注目度）: 12.794762297826848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural operators have emerged as data-driven surrogates for solving partial differential equations (PDEs), and their success hinges on efficiently modeling the long-range, global coupling among spatial points induced by the underlying physics. In many PDE regimes, the induced global interaction kernels are empirically compressible, exhibiting rapid spectral decay that admits low-rank approximations. We leverage this observation to unify representative global mixing modules in neural operators under a shared low-rank template: compressing high-dimensional pointwise features into a compact latent space, processing global interactions within it, and reconstructing the global context back to spatial points. Guided by this view, we introduce Low-Rank Spatial Attention (LRSA) as a clean and direct instantiation of this template. Crucially, unlike prior approaches that often rely on non-standard aggregation or normalization modules, LRSA is built purely from standard Transformer primitives, i.e., attention, normalization, and feed-forward networks, yielding a concise block that is straightforward to implement and directly compatible with hardware-optimized kernels. In our experiments, such a simple construction is sufficient to achieve high accuracy, yielding an average error reduction of over 17\% relative to second-best methods, while remaining stable and efficient in mixed-precision training.
• Abstract（参考訳）: ニューラル作用素は偏微分方程式(PDE)を解くためのデータ駆動サロゲートとして登場し、その成功は、基礎となる物理学によって誘導される空間的点間の長距離大域的結合を効率的にモデル化することにある。 多くのPDE系では、誘導された大域的相互作用核は経験的に圧縮可能であり、低ランク近似を許容する急激なスペクトル崩壊を示す。 我々は、この観測を利用して、共有低ランクテンプレートの下で、ニューラルネットワークにおける代表的グローバルな混合モジュールを統一する: 高次元のポイントワイドな特徴をコンパクトな潜在空間に圧縮し、その内部でグローバルな相互作用を処理し、グローバルなコンテキストを空間的な点に再構成する。 本稿では,このテンプレートのクリーンかつ直接的なインスタンス化として,LRSA(Low-Rank Spatial Attention)を導入する。 重要なことは、非標準アグリゲーションや正規化モジュールによく依存する以前のアプローチとは異なり、LRSAは標準トランスフォーマープリミティブ(注意、正規化、フィードフォワードネットワーク)から純粋に構築され、ハードウェア最適化カーネルと直接互換性のある簡潔なブロックが得られる。 実験では, 簡単な構成で高精度化が可能であり, 混合精度訓練では安定かつ効率的でありながら, 平均誤差を17倍以上削減できることがわかった。

関連論文リスト

• Monotone Optimisation with Learned Projections [0.0]
  モノトーン最適化問題は、Polyblock Outer Approximation (POA)アルゴリズムのような特殊な大域的解法を許容する。 本稿では,学習モデルをPOAに統合するアルゴリズム認識学習手法を提案する。
  論文  参考訳（メタデータ） (2026-01-28T19:32:04Z)
• Towards Globally Predictable k-Space Interpolation: A White-box Transformer Approach [9.242448133816037]
  我々は,k空間に対するGPI(Globally Predictable Interpolation)に基づくWhite-box TransformerフレームワークであるGPI-WTを提案する。 実験結果から,提案手法は,k空間の精度において高い解釈性を提供しながら,最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-06T03:24:28Z)
• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
  我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。 ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
  論文  参考訳（メタデータ） (2023-05-29T21:32:15Z)
• Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
  フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。 本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
  論文  参考訳（メタデータ） (2022-05-24T20:51:37Z)
• Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse Separation with Spatial-Spectral Total Variation Regularization [49.55649406434796]
  本研究では,HSI復調のためのロバストな主成分分析のための新しい非特異なアプローチを提案する。 我々は、ランクとスパースコンポーネントの両方に対する正確な近似を開発する。 シミュレーションと実HSIの両方の実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-08T11:48:46Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。