論文の概要: SUPN: Shallow Universal Polynomial Networks

• arxiv url: http://arxiv.org/abs/2511.21414v1
• Date: Wed, 26 Nov 2025 14:06:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.131004
• Title: SUPN: Shallow Universal Polynomial Networks
• Title（参考訳）: SUPN: 最小のユニバーサルポリノミアルネットワーク
• Authors: Zachary Morrow, Michael Penwarden, Brian Chen, Aurya Javeed, Akil Narayan, John D. Jakeman,
• Abstract要約: ディープニューラルネットワーク(DNN)とコルモゴロフ・アルノルドネットワーク(KAN)は関数近似の一般的な方法である。 そこで我々は,適切な近似を生成するために,浅い普遍ネットワーク (SUPN) を提案する。 SUPNsは、同じ次数の最適近似と同じ速度で収束することを示す。
• 参考スコア（独自算出の注目度）: 2.817874121826956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) and Kolmogorov-Arnold networks (KANs) are popular methods for function approximation due to their flexibility and expressivity. However, they typically require a large number of trainable parameters to produce a suitable approximation. Beyond making the resulting network less transparent, overparameterization creates a large optimization space, likely producing local minima in training that have quite different generalization errors. In this case, network initialization can have an outsize impact on the model's out-of-sample accuracy. For these reasons, we propose shallow universal polynomial networks (SUPNs). These networks replace all but the last hidden layer with a single layer of polynomials with learnable coefficients, leveraging the strengths of DNNs and polynomials to achieve sufficient expressivity with far fewer parameters. We prove that SUPNs converge at the same rate as the best polynomial approximation of the same degree, and we derive explicit formulas for quasi-optimal SUPN parameters. We complement theory with an extensive suite of numerical experiments involving SUPNs, DNNs, KANs, and polynomial projection in one, two, and ten dimensions, consisting of over 13,000 trained models. On the target functions we numerically studied, for a given number of trainable parameters, the approximation error and variability are often lower for SUPNs than for DNNs and KANs by an order of magnitude. In our examples, SUPNs even outperform polynomial projection on non-smooth functions.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)とコルモゴロフ・アルノルドネットワーク(KAN)は、その柔軟性と表現性から関数近似の一般的な方法である。 しかし、それらは通常、適切な近似を生成するために、多くのトレーニング可能なパラメータを必要とする。 結果として生じるネットワークの透明性を損なうことに加えて、オーバーパラメータ化は大きな最適化空間を生み出し、おそらく全く異なる一般化エラーを持つ訓練において局所的なミニマを生み出す。 この場合、ネットワーク初期化はモデルのアウト・オブ・サンプルの精度に大きな影響を与える可能性がある。 これらの理由から、浅い普遍多項式ネットワーク(SUPN)を提案する。 これらのネットワークは、最後の隠れた層を除いて、DNNと多項式の強みを利用して、はるかに少ないパラメータで十分な表現性を達成し、学習可能な係数を持つ多項式の単一の層に置き換える。 我々は、SUPNが同じ次数の最高の多項式近似と同じ速度で収束することを証明し、準最適SUPNパラメータの明示的な公式を導出する。 1, 2, 10次元のSUPN, DNN, Kans, および多項式射影を含む, 13,000以上の訓練されたモデルからなる広範な数値実験で理論を補完する。 対象関数について、与えられたトレーニング可能なパラメータ数に対して、SUPNの近似誤差と変数は、DNNやKansよりも桁違いに小さくなる。 我々の例では、SUPN は非滑らか関数上の多項式射影よりも優れる。

関連論文リスト

• Polynomial-Augmented Neural Networks (PANNs) with Weak Orthogonality Constraints for Enhanced Function and PDE Approximation [22.689531776611084]
  現在拡張されたニューラルネットワーク(PANN) 本稿では、ディープニューラルネットワーク(DNN)と近似を組み合わせた新しい機械学習アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:06:15Z)
• Sparse Deep Neural Network for Nonlinear Partial Differential Equations [3.0069322256338906]
  本稿では,非線形偏微分方程式の解の適応近似に関する数値的研究について述べる。 特定の特異点を持つ関数を表現するために、複数のパラメータを持つスパース正規化を備えたディープニューラルネットワーク(DNN)を開発する。 数値的な例では、提案したSDNNが生成する解はスパースで正確である。
  論文  参考訳（メタデータ） (2022-07-27T03:12:16Z)
• Bagged Polynomial Regression and Neural Networks [0.0]
  時系列とデータセットの回帰は、ニューラルネットワークと同じ関数クラスを近似することができる。 textitbagged regression (BPR)は、ニューラルネットワークの魅力的な代替品である。 BPRは、衛星データを用いた作物分類において、ニューラルネットワークと同様に機能する。
  論文  参考訳（メタデータ） (2022-05-17T19:55:56Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。