論文の概要: On the Approximation Power of SiLU Networks: Exponential Rates and Depth Efficiency

• arxiv url: http://arxiv.org/abs/2512.12132v1
• Date: Sat, 13 Dec 2025 01:56:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.136739
• Title: On the Approximation Power of SiLU Networks: Exponential Rates and Depth Efficiency
• Title（参考訳）: SiLUネットワークの近似パワー:指数速度と深さ効率について
• Authors: Koffi O. Ayena,
• Abstract要約: 本稿では,SiLUアクティベーションネットワークがスムーズな関数に対する指数的近似速度を達成することを示す,包括的な理論的枠組みを確立する。 より効率的な正方函数の近似から始まる新しい階層構造を、ReLU の同等の実現法よりも、深さと大きさのコンパクトさで開発する。 次に、ソボレフ級関数の近似における深部SiLUネットワークに対する鋭い近似境界を確立するために、関数合成を通じてこのアプローチを拡張した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article establishes a comprehensive theoretical framework demonstrating that SiLU (Sigmoid Linear Unit) activation networks achieve exponential approximation rates for smooth functions with explicit and improved complexity control compared to classical ReLU-based constructions. We develop a novel hierarchical construction beginning with an efficient approximation of the square function $x^2$ more compact in depth and size than comparable ReLU realizations, such as those given by Yarotsky. This construction yields an approximation error decaying as $\mathcal{O}(ω^{-2k})$ using networks of depth $\mathcal{O}(1)$. We then extend this approach through functional composition to establish sharp approximation bounds for deep SiLU networks in approximating Sobolev-class functions, with total depth $\mathcal{O}(1)$ and size $\mathcal{O}(\varepsilon^{-d/n})$.
• Abstract（参考訳）: 本稿では、SiLU(Sigmoid Linear Unit)アクティベーションネットワークが、古典的なReLUベース構造と比較して、明示的で複雑な制御を向上した滑らかな関数に対する指数的近似率を達成することを示す包括的な理論的枠組みを確立する。 我々は、ヤロツキーが与えたようなReLU実現よりも、よりコンパクトでコンパクトな平方函数の効率的な近似から始まる、新しい階層構造を開発する。 この構成は、深さ$\mathcal{O}(1)$のネットワークを用いて$\mathcal{O}(ω^{-2k})$として近似誤差が減衰する。 次に、このアプローチを汎関数合成によって拡張し、ソボレフ級関数を近似する深いSiLUネットワークに対する鋭い近似境界を確立する。

関連論文リスト

• Convergence Analysis of the PAGE Stochastic Algorithm for Weakly Convex Finite-Sum Optimization [56.57092765118707]
  このアルゴリズムは、このタイプの作業の平均点を定常的に見つけるように設計されている。 これは、一般的なフレームワーク(tautauL$)と変更率の間で改善される連続的な非滑らかなケース(tautauL$)を提供する。
  論文  参考訳（メタデータ） (2025-08-31T08:06:53Z)
• Approximation Rates in Besov Norms and Sample-Complexity of Kolmogorov-Arnold Networks with Residual Connections [9.817834520159936]
  Kolmogorov-Arnold Networks (KAN) は、ほとんどのディープラーニングフレームワークのバックボーンの改善として登場した。 我々はkansが任意のBesov関数を、有界な開あるいはフラクタルな領域上で$Bs_p,q(mathcalX)$で最適に近似できることを示す。
  論文  参考訳（メタデータ） (2025-04-21T14:02:59Z)
• On the Convergence of Single-Timescale Actor-Critic [49.19842488693726]
  本研究では,有限状態空間を持つ無限水平割引決定過程(MD)に対して,単時間アクタークリティカル(AC)アルゴリズムのグローバル収束を解析する。 我々は,アクタと批評家の両方のステップサイズが (O(k-Pfrac12) として崩壊し,従来の (O(k-Pfrac12) ) レートから (非最適) の Markov フレームワーク最適化で一般的に使用される (O(k-Pfrac12) ) レートから$k$ になることを示した。
  論文  参考訳（メタデータ） (2024-10-11T14:46:29Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Functional SDE approximation inspired by a deep operator network architecture [0.0]
  ディープニューラルネットワークによる微分方程式(SDE)の近似解の導出と解析を行う。 このアーキテクチャはDeep Operator Networks(DeepONets)の概念にインスパイアされたもので、ネットワークに表される基盤の削減という観点からの演算子学習に基づいている。 提案したSDEONetアーキテクチャは,Wienerカオス拡張の最適スパース切り込みを学習することにより,指数複雑性の問題を緩和することを目的としている。
  論文  参考訳（メタデータ） (2024-02-05T14:12:35Z)
• Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks [3.222802562733787]
  本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。 いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T17:29:19Z)
• Exponential Separations in Symmetric Neural Networks [48.80300074254758]
  我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。 解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
  論文  参考訳（メタデータ） (2022-06-02T19:45:10Z)
• Quantitative approximation results for complex-valued neural networks [0.0]
  モフレル活性化関数 $sigma(z) = mathrmrelu(|z|) を持つ複素値ニューラルネットワークは、$mathbbcd$ のコンパクト部分集合上で正則性の複素値関数 $cn$ を均一に近似し、近似速度の明示的な境界を与える。
  論文  参考訳（メタデータ） (2021-02-25T18:57:58Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。