論文の概要: Approximation Power of Deep Neural Networks: an explanatory mathematical survey
- arxiv url: http://arxiv.org/abs/2207.09511v2
- Date: Mon, 16 Dec 2024 21:06:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:55:51.208093
- Title: Approximation Power of Deep Neural Networks: an explanatory mathematical survey
- Title（参考訳）: 深部ニューラルネットワークの近似パワー:説明数学的調査
- Authors: Owen Davis, Mohammad Motamed,
- Abstract要約: この調査では、ニューラルネットワークがターゲット関数をいかに効果的に近似するかを調べ、従来の近似法より優れている条件を特定する。
主なトピックは、ディープネットワークの非線形で構成的な構造と、回帰と分類設定における最適化問題としてのニューラルネットワークタスクの形式化である。
このサーベイは、深いReLUネットワークの近似能力と他の近似手法の近似能力を比較することで、連続関数空間におけるニューラルネットワークの密度を探索する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: This survey provides an in-depth and explanatory review of the approximation properties of deep neural networks, with a focus on feed-forward and residual architectures. The primary objective is to examine how effectively neural networks approximate target functions and to identify conditions under which they outperform traditional approximation methods. Key topics include the nonlinear, compositional structure of deep networks and the formalization of neural network tasks as optimization problems in regression and classification settings. The survey also addresses the training process, emphasizing the role of stochastic gradient descent and backpropagation in solving these optimization problems, and highlights practical considerations such as activation functions, overfitting, and regularization techniques. Additionally, the survey explores the density of neural networks in the space of continuous functions, comparing the approximation capabilities of deep ReLU networks with those of other approximation methods. It discusses recent theoretical advancements in understanding the expressiveness and limitations of these networks. A detailed error-complexity analysis is also presented, focusing on error rates and computational complexity for neural networks with ReLU and Fourier-type activation functions in the context of bounded target functions with minimal regularity assumptions. Alongside recent known results, the survey introduces new findings, offering a valuable resource for understanding the theoretical foundations of neural network approximation. Concluding remarks and further reading suggestions are provided.
- Abstract（参考訳）: このサーベイは、ディープニューラルネットワークの近似特性を詳細に説明し、フィードフォワードと残留アーキテクチャに焦点をあてる。
主な目的は、ニューラルネットワークがターゲット関数をいかに効果的に近似するかを調べ、従来の近似法より優れている条件を特定することである。
主なトピックは、ディープネットワークの非線形で構成的な構造と、回帰と分類設定における最適化問題としてのニューラルネットワークタスクの形式化である。
この調査はまた、これらの最適化問題を解決する上での確率勾配降下とバックプロパゲーションの役割を強調し、アクティベーション関数、オーバーフィッティング、正規化技術などの実践的考察を強調した。
さらに、このサーベイでは、深いReLUネットワークの近似能力と他の近似手法の近似能力を比較することで、連続関数空間におけるニューラルネットワークの密度について調査している。
これらのネットワークの表現性と制限を理解するための最近の理論的進歩について論じる。
また,ReLUとフーリエ型アクティベーション関数を持つニューラルネットワークの誤差率と計算複雑性を,最小の正規性仮定を持つ有界対象関数の文脈で考察した。
最近の既知の結果に加えて、この調査では、ニューラルネットワーク近似の理論的基礎を理解するための貴重なリソースとして、新たな発見が紹介されている。
コメントとさらなる読解提案を含む。
関連論文リスト
- Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study [8.183509993010983]
深部演算子のネットワークにおけるニューラルネットワークのスケーリング法則をChenおよびChenスタイルアーキテクチャを用いて検討する。
我々は、その近似と一般化誤差を分析して、ニューラルネットワークのスケーリング法則を定量化する。
本結果は,演算子学習における神経スケーリング法則を部分的に説明し,その応用の理論的基盤を提供する。
論文 参考訳（メタデータ） (2024-10-01T03:06:55Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - A new approach to generalisation error of machine learning algorithms:
Estimates and convergence [0.0]
本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。
本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
論文 参考訳（メタデータ） (2023-06-23T20:57:31Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Multigoal-oriented dual-weighted-residual error estimation using deep
neural networks [0.0]
ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。
提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。
複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-12-21T16:59:44Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳（メタデータ） (2021-06-12T13:05:11Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Analytical aspects of non-differentiable neural networks [0.0]
本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。
ここでは,QNN が DNN と同じ表現性を持つことを示す。
また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
論文 参考訳（メタデータ） (2020-11-03T17:20:43Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Expressivity of Deep Neural Networks [2.7909470193274593]
本稿では,ニューラルネットワークの様々な近似結果について概説する。
既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
論文 参考訳（メタデータ） (2020-07-09T13:08:01Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。