論文の概要: Müntz-Szász Networks: Neural Architectures with Learnable Power-Law Bases
- arxiv url: http://arxiv.org/abs/2512.22222v1
- Date: Mon, 22 Dec 2025 23:04:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:29.904877
- Title: Müntz-Szász Networks: Neural Architectures with Learnable Power-Law Bases
- Title（参考訳）: Müntz-Szász Networks: 学習可能なパワーローベースを持つニューラルネットワーク
- Authors: Gnankan Landry Regis N'guessan,
- Abstract要約: Mntz-Szsz Networks (MSN) は、固定されたスムーズなアクティベーションを学習可能な分数パワーベースに置き換える新しいアーキテクチャである。
我々は、MSNがMntz-Szsz定理から普遍近似を継承し、新しい近似速度を確立することを証明した。
本結果は,理論誘導型アーキテクチャ設計が科学的動機付け関数クラスに劇的な改善をもたらすことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard neural network architectures employ fixed activation functions (ReLU, tanh, sigmoid) that are poorly suited for approximating functions with singular or fractional power behavior, a structure that arises ubiquitously in physics, including boundary layers, fracture mechanics, and corner singularities. We introduce Müntz-Szász Networks (MSN), a novel architecture that replaces fixed smooth activations with learnable fractional power bases grounded in classical approximation theory. Each MSN edge computes $φ(x) = \sum_k a_k |x|^{μ_k} + \sum_k b_k \mathrm{sign}(x)|x|^{λ_k}$, where the exponents $\{μ_k, λ_k\}$ are learned alongside the coefficients. We prove that MSN inherits universal approximation from the Müntz-Szász theorem and establish novel approximation rates: for functions of the form $|x|^α$, MSN achieves error $\mathcal{O}(|μ- α|^2)$ with a single learned exponent, whereas standard MLPs require $\mathcal{O}(ε^{-1/α})$ neurons for comparable accuracy. On supervised regression with singular target functions, MSN achieves 5-8x lower error than MLPs with 10x fewer parameters. Physics-informed neural networks (PINNs) represent a particularly demanding application for singular function approximation; on PINN benchmarks including a singular ODE and stiff boundary-layer problems, MSN achieves 3-6x improvement while learning interpretable exponents that match the known solution structure. Our results demonstrate that theory-guided architectural design can yield dramatic improvements for scientifically-motivated function classes.
- Abstract（参考訳）: 標準的なニューラルネットワークアーキテクチャは固定活性化関数(ReLU, tanh, sigmoid)を用いており、これは特異あるいは分数的なパワーの振る舞いを持つ関数を近似するのに不適であり、境界層、破壊力学、コーナー特異点を含む物理学においてユビキタスに現れる構造である。
Müntz-Szász Networks (MSN) は、固定された滑らかなアクティベーションを古典近似理論に基づく学習可能な分数基底に置き換える新しいアーキテクチャである。
各MSNエッジは$φ(x) = \sum_k a_k |x|^{μ_k} + \sum_k b_k \mathrm{sign}(x)|x|^{λ_k}$を計算する。
我々は、MSNがMüntz-Szászの定理から普遍近似を継承し、新しい近似速度を確立することを証明している: 形式 $|x|^α$ に対して、MSN は誤り $\mathcal{O}(|μ-α|^2)$ を単一の学習指数で達成するが、標準 MLP は同等の精度で$\mathcal{O}(ε^{-1/α})$ ニューロンを必要とする。
特異目標関数による教師付き回帰では、MSNはパラメータが10倍少ないMPPよりも5～8倍低い誤差を達成している。
特異ODEと硬い境界層問題を含むPINNベンチマークでは、MSNは既知の解構造に一致する解釈可能な指数を学習しながら3～6倍の改善を達成している。
本結果は,理論誘導型アーキテクチャ設計が科学的動機付け関数クラスに劇的な改善をもたらすことを示す。
関連論文リスト
- INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation [2.815765641180636]
境界重みを持つ定数深度$mathrmReLUk-1$ネットワークは、ソボレフ空間内の任意の関数を近似することができることを示す。
また、必要なパラメータ数が対数係数に一致することを示すことで、我々の構成がほぼ最適であることを示す。
論文 参考訳（メタデータ） (2025-09-11T11:28:20Z) - Deep neural networks can provably solve Bellman equations for Markov decision processes without the curse of dimensionality [3.6185342807265415]
離散時間最適制御問題と漏洩決定プロセス(MDP)は、不確実性の下でのシーケンシャルな意思決定の基本的なモデルである。
本稿では、無限時間地平線と有限制御セット$A$を持つMDPに関連する$Q$関数に対するディープニューラルネットワーク(DNN)近似を構築する。
論文 参考訳（メタデータ） (2025-06-28T11:25:44Z) - Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。
平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
論文 参考訳（メタデータ） (2025-04-28T16:58:55Z) - Graded Neural Networks [0.0]
本稿では,次数ベクトル空間上に構築されたグレードドニューラルネットワーク(GNN)のための新しいフレームワークを提案する。
潜在的な応用は、高速レーザーベースの実装で実証された機械学習とフォトニクスシステムにまたがる。
論文 参考訳（メタデータ） (2025-02-25T01:08:07Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。
SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with
an artificial neural-network correlator ansatz [62.997667081978825]
光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。
我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
論文 参考訳（メタデータ） (2020-07-28T14:52:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。