論文の概要: Neural Approximation by Function Composition: Rigidity and Doubly Exponential Convergence
- arxiv url: http://arxiv.org/abs/2609.25874v1
- Date: Tue, 22 Sep 2026 08:41:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.301211
- Title: Neural Approximation by Function Composition: Rigidity and Doubly Exponential Convergence
- Title（参考訳）: 関数構成による神経近似:剛性と二重指数収束
- Abstract要約: ディープニューラルネットワークは、非線形アクティベーションを持つアフィンマップを構成することで、関数を近似する。
構成自体がどのように近似力を創出するかは、まだ完全には理解されていない。
本研究では,1つのスカラー生成関数の幾何重み付け和の基本機構について検討する。
- 参考スコア（独自算出の注目度）: 8.466046554320489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks approximate functions by composing affine maps with nonlinear activations, but how composition itself creates approximation power is not yet fully understood. We investigate a fundamental mechanism: geometrically weighted sums of iterates of a single scalar generator function. This mechanism underpins the classical tent-map construction of the function \(x - x^2\) and related recursive representations used by Yarotsky, W. E, et al., to analyze the approximation powers of deep neural networks. First, we establish a rigidity theorem: for continuous piecewise linear generators with a finite number of segments, any \(C^3\) function that can be represented in this way is at most quadratic. For non-affine quadratic functions, the geometric factor is at least $1/4$. This result both reveals limitations of the tent-map approach and complements existing methods based on hierarchical bases and recursive polynomial constructions. Second, using an exact remainder identity as guidance, we construct a smooth generator whose iterates yield doubly exponential error decay in total depth for square approximation and, through multiplication modules, for each fixed polynomial. For power series with absolutely summable coefficients on \([-1,1]^d\), distributing depth according to monomial degree yields a uniform approximation error of order \(O(e^{-cL^{1/d}})\) on each interior cube. These findings demonstrate how generator dynamics and remainder estimates govern depth allocation and approximation rates of deep neural networks.
- Abstract（参考訳）: ディープニューラルネットワークは、非線型活性化を伴うアフィン写像を構成することで機能を近似するが、構成自体が近似力をいかに生成するかは、まだ完全には理解されていない。
本研究では,1つのスカラージェネレータ関数のイテレートの幾何重み付け和について検討する。
このメカニズムは、関数 \(x - x^2\) と関連する再帰的表現の古典的なテントマップ構築を、Yarrotsky, W. E, et al によって、ディープニューラルネットワークの近似力を解析するために支えている。
まず、剛性定理(英語版)を確立する: 有限個のセグメントを持つ連続部分的線型生成元に対して、この方法で表現できる任意の \(C^3\) 函数は、最も二次的である。
非アフィン二次函数に対しては、幾何係数は少なくとも1/4$である。
この結果は共にテントマップアプローチの限界を明らかにし、階層基底と再帰多項式構造に基づく既存の手法を補完する。
第二に、厳密な剰余恒等式をガイダンスとして、各固定多項式に対して平方近似と乗算加群による全深さでの2倍指数誤差減衰を繰り返す滑らかな生成器を構築する。
\([-1,1]^d\) 上の絶対総和係数を持つ級数に対して、単項次数による深さの分散は、各内部立方体上の位数 \(O(e^{-cL^{1/d}})\) の均一な近似誤差をもたらす。
これらの結果は, 深部ニューラルネットワークの深部分布と近似率を, ジェネレータのダイナミクスと残差推定がいかに支配するかを示すものである。
関連論文リスト
- Algorithmic Foundations of Deep Learning: Complexity-Theoretic Rates and a Characterization of Universal Approximation [15.78691543310587]
ニューラルネットワークはフレキシブルな基底関数として、また計算のモデルとして見なされるべきであることを示す。
自然並列化条件を満たす任意の定義可能なNNモデルは、非アフィン非線形性を含む場合に限り、普遍近似であることを示す。
提案理論の範囲は,連続関数に対する普遍近似保証,ベソフ類に対する最小最適近似保証,正則関数に対する対数誤差複雑性,およびニュートン・ラフソン根探索や電力計算のような数値アルゴリズムをエミュレートできることを示す。
論文 参考訳（メタデータ） (2026-06-25T07:34:20Z) - Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds [61.14405512940818]
Scoreベースの生成モデルは高次元空間で訓練されていることを示す。
有限固有アンカーとガウス・ニュートンによる最も近い射影座標のReLU実装を用いる。
論文 参考訳（メタデータ） (2026-05-15T10:20:05Z) - Primitive Recursion without Composition: Dynamical Characterizations, from Neural Networks to Polynomial ODEs [0.0]
実数値力学により進化した実数値状態について検討する。
これら3つの状態は、実数値力学によって進化した連続体-実数値状態に作用する。
論文 参考訳（メタデータ） (2026-04-27T11:48:49Z) - On Uniform Weighted Deep Polynomial approximation [0.0]
本研究では,一方の非対称な振舞いと他方の減衰を有する関数に適した重み付き深部近似剤のクラスを導入,解析する。
このフレームワークがTaylor, Chebyshev, and standard Deep Approximantsより優れていることを示す。
論文 参考訳（メタデータ） (2025-06-26T14:25:32Z) - Why and When Deep is Better than Shallow: An Implementation-Agnostic State-Transition View of Depth Supremacy [15.310099705870114]
一般距離空間上で作用する抽象的状態遷移半群として深部モデルを定式化する。
我々は、実装(例えば、ReLUネット、トランスフォーマー、チェーンオブ思想)を抽象状態遷移から分離する。
我々は,その依存が抽象的な深さ-$k$ネットワークにのみ依存し,実装に依存しないバイアス分散分解を証明した。
論文 参考訳（メタデータ） (2025-05-21T03:32:30Z) - Deep Neural Networks and Finite Elements of Any Order on Arbitrary
Dimensions [2.7195102129095003]
ReLUとReLU$2$の活性化関数を用いたディープニューラルネットワークは、任意の次元の様々な単純メッシュ上の任意の順序のラグランジュ有限要素関数を効果的に表現することができる。
我々の研究は、ディープニューラルネットワークが特定のまたは任意の単純化メッシュ上で、汎用的な連続的な関数を体系的に生成する方法を示す最初のデモンストレーションである。
論文 参考訳（メタデータ） (2023-12-21T19:57:29Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳（メタデータ） (2022-11-22T16:30:33Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。