論文の概要: Fractional is Better: Learnable Derivative Orders in Neural Operator Learning
- arxiv url: http://arxiv.org/abs/2610.20363v1
- Date: Wed, 14 Oct 2026 15:37:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.224275
- Title: Fractional is Better: Learnable Derivative Orders in Neural Operator Learning
- Title(参考訳): フラクショナルはより良い:ニューラル演算子学習における学習可能な導出順序
- Abstract要約: 入力の導関数が解演算子に明示的に現れることを示し、導関数を提供することでネットワークの暗黙的な微分負担を軽減できることを示唆する。
我々は,任意の神経オペレータのバックボーンに学習可能な分数微分機能を提供するアーキテクチャに依存しない拡張であるデリバティブ強化ニューラル演算子に対して$partial$-NO(del-NO)を導入する。
- 参考スコア(独自算出の注目度): 2.899294572150795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural operators learn mappings between function spaces, enabling fast surrogate solutions to partial differential equations. Despite remarkable architectural diversity, these methods often share a common input representation: raw coordinate-value pairs $(x, u(x))$. We ask whether inputs aligned with PDE differential structure can improve learning. Through Picard iteration on mild solutions, we show that derivatives of the input appear explicitly in the solution operator, suggesting that providing derivative features should reduce the network's implicit differentiation burden. We prove this intuition: providing derivative features improves approximation bounds from $O(W^{-(s-m)/d})$ to $O(W^{-s/d})$, where $W$ is parameter count, $s$ is input regularity, $m$ is the PDE order, and $d$ is spatial dimension. Our central finding, however, is a surprise: the optimal derivative order $β^*$ is strictly less than the PDE order $m$. This gap arises from a bias-variance tradeoff in spectral space that we characterize in closed form. Learning $β$ from data achieves automatic spectral regularization. We introduce $\partial$-NO (del-NO), for derivative-augmented neural operators, an architecture-agnostic augmentation that provides learnable fractional derivative features to any neural operator backbone. Across benchmark problems and architectures, $\partial$-NO consistently improves prediction accuracy, with learned orders that reflect a representation of known physics modulated by noise and finite-sample constraints.
- Abstract(参考訳): ニューラル作用素は函数空間間の写像を学習し、偏微分方程式に対する高速な代理解を可能にする。
顕著なアーキテクチャ上の多様性にもかかわらず、これらの手法はしばしば共通の入力表現を共有する: 生座標値対 $(x, u(x))$。
PDE差分構造に整合した入力が学習を改善するかどうかを問う。
軽度解上でのPicard反復を通して、入力の導関数が解演算子に明示的に現れることを示し、導関数を提供することで、ネットワークの暗黙的な微分負担を軽減できることを示唆する。
微分関数を提供することで、近似境界が$O(W^{-(s-m)/d})$から$O(W^{-s/d})$に改善され、$W$はパラメータカウント、$s$は入力正規性、$m$はPDE順序、$d$は空間次元となる。
しかし、我々の中心的な発見は驚きである: 最適微分位数$β^*$は、PDE位数$m$より厳密には小さい。
このギャップは、我々が閉じた形で特徴づけるスペクトル空間におけるバイアス分散トレードオフから生じる。
データから$β$を学習すると、自動スペクトル正則化が達成される。
我々は、任意の神経オペレータのバックボーンに学習可能な分数微分機能を提供するアーキテクチャに依存しない拡張であるデリバティブ強化ニューラル演算子に対して、$\partial$-NO (del-NO)を導入する。
ベンチマーク問題とアーキテクチャ全体で、$\partial$-NOは、ノイズと有限サンプル制約によって変調された既知の物理学の表現を反映した学習順序によって、予測精度を一貫して改善する。
関連論文リスト
- INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳(メタデータ) (2025-11-16T20:14:28Z) - Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation [2.815765641180636]
境界重みを持つ定数深度$mathrmReLUk-1$ネットワークは、ソボレフ空間内の任意の関数を近似することができることを示す。
また、必要なパラメータ数が対数係数に一致することを示すことで、我々の構成がほぼ最適であることを示す。
論文 参考訳(メタデータ) (2025-09-11T11:28:20Z) - Enabling Automatic Differentiation with Mollified Graph Neural Operators [73.52999622724101]
本稿では,自動微分と任意のジオメトリの正確な勾配を求める最初の手法であるモリファイドグラフニューラル演算子(m$GNO)を提案する。
正規格子上のPDEの例では、$m$GNOとオートグレードの組み合わせにより、L2相対データの誤差は有限差に比べて20倍減少した。
また、物理損失のみを使用し、有限差分に必要な分解能よりもはるかに低い精度で、非構造化点雲上のPDEをシームレスに解くことができる。
論文 参考訳(メタデータ) (2025-04-11T06:16:30Z) - Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators [29.063441432499776]
多変量関数に対する任意の順序の微分テンソルの任意の収縮を効率的に行う方法を示す。
物理インフォームドニューラルネットワーク(PINN)に適用すると,1000$times$ Speed-upと1000$times$ Speed-upが提供される。
30$times$1次ADによるランダム化によるメモリ削減。
論文 参考訳(メタデータ) (2024-11-27T09:37:33Z) - Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [54.57279006229212]
情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を担っている。
本研究では,2次項と高次項の両方を考慮することで,まず2次項を用いて関連する空間を学習できることを示す。
オンラインSGDの全体サンプルと複雑さは$tildeO(d PL-1 )$である。
論文 参考訳(メタデータ) (2024-10-13T00:14:08Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - DIFF2: Differential Private Optimization via Gradient Differences for
Nonconvex Distributed Learning [58.79085525115987]
以前の研究でよく知られたユーティリティ境界は$widetilde O(d2/3/(nvarepsilon_mathrmDP)4/3)$である。
本稿では,差分プライベートフレームワークを構築した mphDIFF2 (DIFFerential private via DIFFs) という新しい差分プライベートフレームワークを提案する。
大域的な降下を持つ$mphDIFF2は$widetilde O(d2/3/(nvarepsilon_mathrmDP)4/3の効用を達成する
論文 参考訳(メタデータ) (2023-02-08T05:19:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。