論文の概要: Neural Network Approximation of Refinable Functions
- arxiv url: http://arxiv.org/abs/2107.13191v1
- Date: Wed, 28 Jul 2021 06:45:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-29 21:18:29.229880
- Title: Neural Network Approximation of Refinable Functions
- Title(参考訳): 補修可能な関数のニューラルネットワーク近似
- Authors: Ingrid Daubechies, Ronald DeVore, Nadav Dym, Shira Faigenbaum-Golovin,
Shahar Z. Kovalsky, Kung-Ching Lin, Josiah Park, Guergana Petrova, Barak
Sober
- Abstract要約: 本研究では, 深部ReLUネットワークの出力幅が一定であり, 精度指数で深部を増大させることにより, 精錬可能関数が近似可能であることを示す。
本研究は,ウェーブレットの標準構成に使用される関数と,コンピュータ支援幾何設計における部分分割アルゴリズムを用いて構築される関数に適用する。
- 参考スコア(独自算出の注目度): 8.323468006516018
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the desire to quantify the success of neural networks in deep learning and
other applications, there is a great interest in understanding which functions
are efficiently approximated by the outputs of neural networks. By now, there
exists a variety of results which show that a wide range of functions can be
approximated with sometimes surprising accuracy by these outputs. For example,
it is known that the set of functions that can be approximated with exponential
accuracy (in terms of the number of parameters used) includes, on one hand,
very smooth functions such as polynomials and analytic functions (see e.g.
\cite{E,S,Y}) and, on the other hand, very rough functions such as the
Weierstrass function (see e.g. \cite{EPGB,DDFHP}), which is nowhere
differentiable. In this paper, we add to the latter class of rough functions by
showing that it also includes refinable functions. Namely, we show that
refinable functions are approximated by the outputs of deep ReLU networks with
a fixed width and increasing depth with accuracy exponential in terms of their
number of parameters. Our results apply to functions used in the standard
construction of wavelets as well as to functions constructed via subdivision
algorithms in Computer Aided Geometric Design.
- Abstract(参考訳): ディープラーニングやその他の応用におけるニューラルネットワークの成功を定量化するためには、どの関数がニューラルネットワークの出力によって効率的に近似されているかを理解することに大きな関心がある。
現在までには、広範囲の関数がこれらの出力によってしばしば驚くべき精度で近似できることを示す様々な結果が存在する。
例えば、指数的精度で近似できる関数の集合(使われるパラメータの数)は、一方的に多項式や解析関数のような非常に滑らかな関数を含むことが知られている(例えば、参照)。
\cite{e,s,y}) や、ワイエルシュトラス関数のような非常に粗い関数(例:weierstrass関数)がある。
\cite{EPGB,DDFHP})。
本稿では,再定義可能な関数も含むことを示すことで,後者の粗関数クラスに追加する。
すなわち,ReLUネットワークの幅が一定であり,パラメータ数で精度が指数関数的に増加することにより,精製可能な関数が近似されることを示す。
本研究は,ウェーブレットの標準構成に用いられる関数と,コンピュータ支援幾何設計における部分分割アルゴリズムによって構築された関数に適用する。
関連論文リスト
- Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Deep neural network approximation of composite functions without the
curse of dimensionality [0.0]
本稿では,ディープニューラルネットワーク(DNN)により近似できる高次元連続関数のクラスを同定する。
クラス内の函数は、積、極大、ある平行化されたリプシッツ連続函数を含む潜在的に非有界な特殊函数として表すことができる。
論文 参考訳(メタデータ) (2023-04-12T12:08:59Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳(メタデータ) (2022-06-09T15:35:22Z) - Depth separation beyond radial functions [34.11708874794196]
特定の関数は2重層ネットワークで効率的に近似できるが、高次元の1重層ネットワークでは効率よく近似できないことを示す。
このような結果の証明における一般的なテーマは、一隠れ層ネットワークがフーリエ表現が領域に広がる高エネルギー関数の近似に失敗するという事実である。
論文 参考訳(メタデータ) (2021-02-02T17:25:02Z) - Size and Depth Separation in Approximating Natural Functions with Neural
Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。
我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。
また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文 参考訳(メタデータ) (2021-01-30T21:30:11Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳(メタデータ) (2020-08-16T16:34:33Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳(メタデータ) (2020-07-28T09:31:56Z) - PDE constraints on smooth hierarchical functions computed by neural
networks [0.0]
ディープニューラルネットワーク理論における重要な問題は、表現性である。
フィードフォワードニューラルネットワークによって実装された実無限微分可能(滑らか)階層関数について検討する。
このようなPDE制約は、一旦適切な非特異性条件を伴って、考慮中の滑らかな関数をネットワークで表現できることを保証する。
論文 参考訳(メタデータ) (2020-05-18T16:34:11Z) - Characteristic Functions on Graphs: Birds of a Feather, from Statistical
Descriptors to Parametric Models [8.147652597876862]
本稿では,特徴関数の特定の変量を計算するための計算効率の良いアルゴリズムであるFEATHERを紹介する。
FEATHERによって抽出された機能は、ノードレベルの機械学習タスクに有用である、と我々は主張する。
実世界の大規模データセットを用いた実験により,提案アルゴリズムが高品質な表現を生成することを示す。
論文 参考訳(メタデータ) (2020-05-16T11:47:05Z) - Space of Functions Computed by Deep-Layered Machines [74.13735716675987]
深層ニューラルネットワークやブール回路を含むランダム層マシンによって計算される関数の空間について検討する。
繰り返しおよび層依存アーキテクチャ上で計算されたブール関数の分布を調べた結果、両方のモデルで同じであることが判明した。
論文 参考訳(メタデータ) (2020-04-19T18:31:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。