論文の概要: Approximation Capabilities of Feedforward Neural Networks with GELU Activations

• arxiv url: http://arxiv.org/abs/2512.21749v1
• Date: Thu, 25 Dec 2025 17:56:44 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 11:58:03.81636
• Title: Approximation Capabilities of Feedforward Neural Networks with GELU Activations
• Title（参考訳）: GELU活性化によるフィードフォワードニューラルネットワークの近似能力
• Authors: Konstantin Yakovlev, Nikita Puchkin,
• Abstract要約: 関数とその導関数を任意の所定の順序まで同時に保持する近似誤差を導出する。 境界は、多変量、指数関数、相互関数を含む基本函数に適用される。 ネットワークサイズ,重み度,動作を無限大で報告する。
• 参考スコア（独自算出の注目度）: 6.488575826304024
• License:
• Abstract: We derive an approximation error bound that holds simultaneously for a function and all its derivatives up to any prescribed order. The bounds apply to elementary functions, including multivariate polynomials, the exponential function, and the reciprocal function, and are obtained using feedforward neural networks with the Gaussian Error Linear Unit (GELU) activation. In addition, we report the network size, weight magnitudes, and behavior at infinity. Our analysis begins with a constructive approximation of multiplication, where we prove the simultaneous validity of error bounds over domains of increasing size for a given approximator. Leveraging this result, we obtain approximation guarantees for division and the exponential function, ensuring that all higher-order derivatives of the resulting approximators remain globally bounded.
• Abstract（参考訳）: 関数とその導関数を任意の所定の順序まで同時に保持する近似誤差を導出する。 境界は多変量多項式、指数関数、相互関数を含む基本関数に適用され、ガウス誤差線形ユニット(GELU)を活性化したフィードフォワードニューラルネットワークを用いて得られる。 さらに, ネットワークサイズ, 重み, および無限大時の挙動を報告する。 解析は乗法の構成的近似から始まり、与えられた近似器のサイズが大きくなる領域上の誤差境界の同時正当性を証明する。 この結果を活用することで、除算と指数関数の近似保証を得ることができ、結果として得られる近似器の高次微分が世界中に有界であることを保証する。

関連論文リスト

• Convergence Analysis of Max-Min Exponential Neural Network Operators in Orlicz Space [0.0]
  指数型ニューラルネットワーク演算子を用いた近似関数に対するMax Minアプローチを提案する。 単変数関数に対する点収束と一様収束について検討する。 適切なカーネルとシグモダルアクティベーション関数を通して関数の近似誤差を記述するためのグラフィカルな表現を提供する。
  論文  参考訳（メタデータ） (2025-08-14T00:30:56Z)
• Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces [0.0]
  本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。 近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T14:31:58Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Convex Bounds on the Softmax Function with Applications to Robustness Verification [69.09991317119679]
  ソフトマックス関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層もますます多くなっている。 本稿では,ニューラルネットワークや他のMLモデルのキャラクタリゼーションのための凸最適化式と互換性のある,ソフトマックス関数上の凸下界と凹上界を提供する。
  論文  参考訳（メタデータ） (2023-03-03T05:07:02Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Non-asymptotic approximations of neural networks by Gaussian processes [7.56714041729893]
  ランダムな重みを持つ場合、ガウス過程によって広いニューラルネットワークが近似される程度を研究する。 ネットワークの幅が無限大になるにつれて、その法則はガウス過程に収束する。
  論文  参考訳（メタデータ） (2021-02-17T10:19:26Z)
• Approximation with Neural Networks in Variable Lebesgue Spaces [1.0152838128195465]
  本稿では、可変ルベーグ空間におけるニューラルネットワークによる普遍近似特性について述べる。 空間の指数関数が有界となると、任意の所望の精度で全ての関数を浅いニューラルネットワークで近似できることを示す。
  論文  参考訳（メタデータ） (2020-07-08T14:52:48Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• On Sharpness of Error Bounds for Multivariate Neural Network Approximation [0.0]
  この論文は、このようなリッジ関数の和による最良の非線形近似を扱う。 誤差境界は滑らかさのモジュライで表される。
  論文  参考訳（メタデータ） (2020-04-05T14:00:52Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。