論文の概要: Bridging Spectral Operator Learning and U-Net Hierarchies: SpectraNet for Stable Autoregressive PDE Surrogates
- arxiv url: http://arxiv.org/abs/2605.09096v1
- Date: Sat, 09 May 2026 18:02:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.066039
- Title: Bridging Spectral Operator Learning and U-Net Hierarchies: SpectraNet for Stable Autoregressive PDE Surrogates
- Title(参考訳): ブリッジングスペクトル演算子学習とU-Net階層:安定自己回帰型PDEサロゲートのためのSpectraNet
- Abstract要約: SpectraNetは、U-Net階層内のスペクトル畳み込みを構成する自己回帰型ニューラル演算子である。
同じプロトコルでネイティブ1282でゼロからトレーニングされ、SpectraNetは0.0724に改善され、FNOは0.3080に回帰した。
B=1の消費者向けCPUでは、SpectraNetは200ms未満で動作し、生のL2に勝つフルアテンショントランスフォーマーは60倍のレイテンシを支払う。
- 参考スコア(独自算出の注目度): 1.2904450317782683
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural operators for time-dependent PDEs face a structural tension: spectral architectures (FNO and descendants) inherit exponential rollout-error growth from their one-step Lipschitz constant, while hierarchical U-Net operators trade resolution invariance for multi-scale detail. We introduce SpectraNet, an autoregressive neural operator that composes truncated spectral convolutions inside a U-Net hierarchy with a Residual-Target Spectral Block trained under a Semigroup-Consistency Loss. The residual-target parametrization replaces L^T stability blow-up with linear T*delta drift, and the spectral path's parameter count is Theta(L w^2 M^2), independent of grid N. Under a single unified protocol against 16 published neural-operator baselines on Navier-Stokes nu=1e-5 at 64x64, SpectraNet reaches test relative L2 = 0.0822 at 2.04M parameters -- 2.33x fewer than canonical FNO at ~20% lower error -- and wins five of six rows in a cross-PDE comparison against FNO (NS at nu in {1e-4, 1e-3}, PDEBench Shallow-Water 2D and Diffusion-Reaction, with the Active-Matter row going to FNO inside its seed spread). Trained from scratch at native 128^2 under the same protocol, SpectraNet improves to 0.0724 while FNO regresses to 0.3080. Free rollout stays bounded for T=100 where FNO diverges across all 200 test trajectories. On consumer CPU at B=1, SpectraNet runs sub-200ms while the full-attention Transformer that wins raw L2 pays ~60x latency; we do not claim to beat that Transformer on raw L2, only to dominate the lightweight (<=5M parameter, sub-200ms CPU) Pareto frontier. Source code: https://github.com/Enrikkk/spectranet
- Abstract(参考訳): スペクトルアーキテクチャ(FNOと子孫)は1ステップのリプシッツ定数から指数関数的なロールアウトエラー成長を継承し、階層的なU-Net演算子はマルチスケールの細部で分解不変性を交換する。
半群連続損失下で訓練されたResidual-Target Spectral Blockを用いたU-Net階層内でのスペクトル畳み込みを構成する自己回帰型ニューラル演算子SpectraNetを紹介する。
L2 = 0.0822 at 2.04M parameters -- 2.33x less than canonical FNO at 20% lower error -- and the six rows in the cross-PDE comparison with FNO (NS at nu in {1e-4, 1e-3}, PDEBench Shallow-Water 2D and Diffusion-React with the Active-React with the FNO into the seed。
同じプロトコルでネイティブの128^2でゼロからトレーニングされたSpectraNetは0.0724に改善され、FNOは0.3080に回帰した。
フリーロールアウトは T=100 に制限され、FNO は200の試験軌道にまたがる。
B=1の消費者向けCPUでは、SpectraNetは200ms未満で動作し、生のL2に勝つフルアテンショントランスフォーマーは60倍のレイテンシで処理します。
ソースコード:https://github.com/Enrikkk/spectranet
関連論文リスト
- A Constitutive Markov Physics-Informed Neural Operator (MPNO) for Autoregressive Stability in Transient Dynamics [14.04953000698584]
本稿では,一段階進化を伝搬演算子としてモデル化したマルコフ物理インフォームドニューラル演算子(MPNO)を提案する。
MPNOは100/135/165 m/sで全ての試験種子の有界誤差で安定にロールアウトし、単一ステップの相対的なL2誤差は0.7304 +/- 0.0008であり、FNOのパラメータの約4分の1でFNOに匹敵する。
約20Kパラメータで、MPNOはLS-DYNA上で約105倍の推論速度を提供する。
論文 参考訳(メタデータ) (2026-08-26T12:54:37Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳(メタデータ) (2026-06-05T14:00:47Z) - Optimal Decay Spectra for Linear Recurrences [6.508284558109273]
PoSTは任意の対角線再帰をオーバーヘッドなく統合する。
Mamba RWKV-7、Gated DeltaNet、Gated Linear Attention、RetNetでインスタンス化します。
論文 参考訳(メタデータ) (2026-04-08T23:54:57Z) - Spectral Gating Networks [65.9496901693099]
我々は、フィードフォワードネットワークに周波数リッチな表現性を導入するために、スペクトルゲーティングネットワーク(SGN)を導入する。
SGNは、標準活性化経路をコンパクトなスペクトル経路と学習可能なゲートで拡張し、安定したベース動作からモデルを開始することができる。
計算予算に匹敵する精度と効率のトレードオフを継続的に改善する。
論文 参考訳(メタデータ) (2026-02-07T20:00:49Z) - LiQSS: Post-Transformer Linear Quantum-Inspired State-Space Tensor Networks for Real-Time 6G [85.58816960936069]
Sixth-Generation (6G) Open Radio Access Networks (O-RAN) における能動的およびエージェント的制御は、厳密なニアタイム(Near-RT)レイテンシと計算制約の下で制御グレードの予測を必要とする。
本稿では,効率的な無線テレメトリ予測のための変圧器後パラダイムについて検討する。
本稿では、自己アテンションを安定な状態空間動的カーネルに置き換える量子インスピレーション付き状態空間テンソルネットワークを提案する。
論文 参考訳(メタデータ) (2026-01-18T12:08:38Z) - DRIFT-Net: A Spectral--Coupled Neural Operator for PDEs Learning [16.6687431452785]
ニューラルソルバを用いたPDE動的学習のための textbfDRIFT-Net を提案する。
スペクトルブランチとイメージブランチからなるデュアルブランチ設計を採用している。
トレーニング設定と予算は同じで,パラメータが少なく,エラーの低減とスループットの向上を実現している。
論文 参考訳(メタデータ) (2025-09-29T14:52:31Z) - KHRONOS: a Kernel-Based Neural Architecture for Rapid, Resource-Efficient Scientific Computation [0.9355993154058798]
我々はモデルベース、モデルフリー、モデル反転タスクのためのAIフレームワークであるKHRONOSを紹介する。
KHRONOSは、次元ごとのカーネル展開の階層的な構成で連続的に微分可能な対象場を構築する。
逆問題に対して、KHRONOSは、サンプルレイテンシあたりのサブマイクロ秒で、数回のフォワード評価で、高速で反復的なレベルセットのリカバリを容易にする。
論文 参考訳(メタデータ) (2025-05-19T16:29:07Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - SKI to go Faster: Accelerating Toeplitz Neural Networks via Asymmetric
Kernels [69.47358238222586]
Toeplitz Neural Networks (TNN) は、印象的な結果を持つ最近のシーケンスモデルである。
我々は, O(n) 計算複雑性と O(n) 相対位置エンコーダ (RPE) 多層パーセプトロン (MLP) と減衰バイアスコールの低減を目指す。
双方向モデルの場合、これはスパースと低ランクのToeplitz行列分解を動機付ける。
論文 参考訳(メタデータ) (2023-05-15T21:25:35Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳(メタデータ) (2022-06-26T06:51:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。