論文の概要: Approximation Power of Deep Neural Networks: an explanatory mathematical survey

• arxiv url: http://arxiv.org/abs/2207.09511v1
• Date: Tue, 19 Jul 2022 18:47:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 13:00:56.893253
• Title: Approximation Power of Deep Neural Networks: an explanatory mathematical survey
• Title（参考訳）: ディープニューラルネットワークの近似パワー:説明的数学的調査
• Authors: Mohammad Motamed
• Abstract要約: 本調査の目的は、ディープニューラルネットワークの近似特性の説明的レビューを行うことである。 我々は、ニューラルネットワークが他の古典的線形および非線形近似法より優れている理由と理由を理解することを目的としている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The goal of this survey is to present an explanatory review of the approximation properties of deep neural networks. Specifically, we aim at understanding how and why deep neural networks outperform other classical linear and nonlinear approximation methods. This survey consists of three chapters. In Chapter 1 we review the key ideas and concepts underlying deep networks and their compositional nonlinear structure. We formalize the neural network problem by formulating it as an optimization problem when solving regression and classification problems. We briefly discuss the stochastic gradient descent algorithm and the back-propagation formulas used in solving the optimization problem and address a few issues related to the performance of neural networks, including the choice of activation functions, cost functions, overfitting issues, and regularization. In Chapter 2 we shift our focus to the approximation theory of neural networks. We start with an introduction to the concept of density in polynomial approximation and in particular study the Stone-Weierstrass theorem for real-valued continuous functions. Then, within the framework of linear approximation, we review a few classical results on the density and convergence rate of feedforward networks, followed by more recent developments on the complexity of deep networks in approximating Sobolev functions. In Chapter 3, utilizing nonlinear approximation theory, we further elaborate on the power of depth and approximation superiority of deep ReLU networks over other classical methods of nonlinear approximation.
• Abstract（参考訳）: 本調査の目的は、ディープニューラルネットワークの近似特性の説明的レビューを行うことである。 具体的には、ディープニューラルネットワークが他の古典的な線形および非線形近似手法に勝る方法と理由を理解することを目的としている。 この調査は3つの章からなる。 第1章では、深層ネットワークとその構成的非線形構造の基礎となる重要な概念と概念について概説する。 回帰と分類問題を解く際に最適化問題として定式化することでニューラルネットワーク問題を定式化する。 本稿では,最適化問題の解法として用いられる確率的勾配降下アルゴリズムとバックプロパゲーション式について簡単に議論し,アクティベーション関数の選択,コスト関数の選択,オーバーフィット問題,正規化など,ニューラルネットワークの性能に関するいくつかの問題に対処する。 第2章では、ニューラルネットワークの近似理論に焦点を移す。 多項式近似における密度の概念の導入から始まり、特に実数値連続函数に対するストーン・ワイエルシュトラスの定理を研究する。 次に、線形近似の枠組みの中で、フィードフォワードネットワークの密度と収束率に関する古典的な結果と、ソボレフ関数の近似におけるディープネットワークの複雑さに関する最近の研究について述べる。 第3章では、非線形近似理論を利用して、他の古典的非線形近似法よりも深いReLUネットワークの深さと近似の優位性について詳しく述べる。

関連論文リスト

• Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study [8.183509993010983]
  深部演算子のネットワークにおけるニューラルネットワークのスケーリング法則をChenおよびChenスタイルアーキテクチャを用いて検討する。 我々は、その近似と一般化誤差を分析して、ニューラルネットワークのスケーリング法則を定量化する。 本結果は,演算子学習における神経スケーリング法則を部分的に説明し,その応用の理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-01T03:06:55Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• A new approach to generalisation error of machine learning algorithms: Estimates and convergence [0.0]
  本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。 本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
  論文  参考訳（メタデータ） (2023-06-23T20:57:31Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Multigoal-oriented dual-weighted-residual error estimation using deep neural networks [0.0]
  ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。 提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。 複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-21T16:59:44Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Analytical aspects of non-differentiable neural networks [0.0]
  本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。 ここでは,QNN が DNN と同じ表現性を持つことを示す。 また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
  論文  参考訳（メタデータ） (2020-11-03T17:20:43Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Expressivity of Deep Neural Networks [2.7909470193274593]
  本稿では,ニューラルネットワークの様々な近似結果について概説する。 既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
  論文  参考訳（メタデータ） (2020-07-09T13:08:01Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。