論文の概要: Depth separation beyond radial functions
- arxiv url: http://arxiv.org/abs/2102.01621v2
- Date: Wed, 3 Feb 2021 17:49:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-04 12:52:39.956672
- Title: Depth separation beyond radial functions
- Title（参考訳）: ラジアル関数を超える深さ分離
- Authors: Luca Venturi, Samy Jelassi, Tristan Ozuch, Joan Bruna
- Abstract要約: 特定の関数は2重層ネットワークで効率的に近似できるが、高次元の1重層ネットワークでは効率よく近似できないことを示す。
このような結果の証明における一般的なテーマは、一隠れ層ネットワークがフーリエ表現が領域に広がる高エネルギー関数の近似に失敗するという事実である。
- 参考スコア（独自算出の注目度）: 34.11708874794196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-dimensional depth separation results for neural networks show that
certain functions can be efficiently approximated by two-hidden-layer networks
but not by one-hidden-layer ones in high-dimensions $d$. Existing results of
this type mainly focus on functions with an underlying radial or
one-dimensional structure, which are usually not encountered in practice. The
first contribution of this paper is to extend such results to a more general
class of functions, namely functions with piece-wise oscillatory structure, by
building on the proof strategy of (Eldan and Shamir, 2016). We complement these
results by showing that, if the domain radius and the rate of oscillation of
the objective function are constant, then approximation by one-hidden-layer
networks holds at a $\mathrm{poly}(d)$ rate for any fixed error threshold.
A common theme in the proof of such results is the fact that one-hidden-layer
networks fail to approximate high-energy functions whose Fourier representation
is spread in the domain. On the other hand, existing approximation results of a
function by one-hidden-layer neural networks rely on the function having a
sparse Fourier representation. The choice of the domain also represents a
source of gaps between upper and lower approximation bounds. Focusing on a
fixed approximation domain, namely the sphere $\mathbb{S}^{d-1}$ in dimension
$d$, we provide a characterization of both functions which are efficiently
approximable by one-hidden-layer networks and of functions which are provably
not, in terms of their Fourier expansion.
- Abstract（参考訳）: ニューラルネットワークの高次元深度分離の結果、特定の関数は2重層ネットワークによって効率的に近似できるが、高次元の1重層は$d$であることがわかった。
このタイプの既存の結果は、主に基礎となる放射状または1次元の構造を持つ機能に焦点を当てている。
本稿の最初の貢献は、(Eldan and Shamir, 2016)の証明戦略に基づいて、より一般的な関数のクラス、すなわち、断片的振動構造を持つ関数にその結果を拡張することである。
これらの結果は、ドメイン半径と目的関数の発振速度が一定である場合、任意の固定誤差しきい値に対して$\mathrm{poly}(d)$レートで保持する1つの隠れ層ネットワークによる近似を示すことによって補完する。
このような結果の証明における共通のテーマは、一層ネットワークがフーリエ表現が領域内に広がる高エネルギー関数を近似できないという事実である。
一方、1つの隠れたニューラルネットワークによる関数の既存の近似結果は、スパースなフーリエ表現を持つ関数に依存している。
領域の選択はまた、上値と下値の近似境界の間のギャップの源でもある。
固定近似領域、すなわち次元 $d$ における球面 $\mathbb{s}^{d-1}$ に焦点をあてて、1階層ネットワークで効率的に近似可能な両関数と、フーリエ展開の観点で証明可能でない関数のキャラクタリゼーションを提供する。
関連論文リスト
- Efficient uniform approximation using Random Vector Functional Link
networks [0.0]
ランダムベクトル関数リンク(英: Random Vector Functional Link, RVFL)は、ランダムな内部ノードとバイアスを持つディープ2ニューラルネットワークである。
本稿では、ReLUアクティベートされたRVFLがLipschitzターゲット関数を近似できることを示す。
我々の証明法は理論と調和解析に根ざしている。
論文 参考訳（メタデータ） (2023-06-30T09:25:03Z) - Approximation and interpolation of deep neural networks [0.0]
過度にパラメータ化された状態において、ディープニューラルネットワークは普遍的な近似を提供し、任意のデータセットを補間することができる。
最後の節では、活性化関数の一般的な条件下でそのような点を見つけるための実用的な確率的方法を提案する。
論文 参考訳（メタデータ） (2023-04-20T08:45:16Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳（メタデータ） (2023-03-09T10:08:34Z) - Neural Set Function Extensions: Learning with Discrete Functions in High
Dimensions [63.21838830509772]
集合関数を低次元連続領域に拡張するためのフレームワークを開発する。
我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。
我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
論文 参考訳（メタデータ） (2022-08-08T10:58:02Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳（メタデータ） (2022-06-09T15:35:22Z) - Neural Network Approximation of Refinable Functions [8.323468006516018]
本研究では, 深部ReLUネットワークの出力幅が一定であり, 精度指数で深部を増大させることにより, 精錬可能関数が近似可能であることを示す。
本研究は,ウェーブレットの標準構成に使用される関数と,コンピュータ支援幾何設計における部分分割アルゴリズムを用いて構築される関数に適用する。
論文 参考訳（メタデータ） (2021-07-28T06:45:36Z) - Theory of Deep Convolutional Neural Networks III: Approximating Radial
Functions [7.943024117353317]
我々は、2つの畳み込み層、ダウン演算子、完全に接続された層からなるディープニューラルネットワークのファミリーを考える。
ネットワーク構造は、畳み込み層の数と完全に連結された層の幅を決定する2つの構造パラメータに依存する。
論文 参考訳（メタデータ） (2021-07-02T08:22:12Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Size and Depth Separation in Approximating Natural Functions with Neural
Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。
我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。
また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文 参考訳（メタデータ） (2021-01-30T21:30:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。