論文の概要: Approximation Power of Deep Neural Networks: an explanatory mathematical survey

• arxiv url: http://arxiv.org/abs/2207.09511v2
• Date: Mon, 16 Dec 2024 21:06:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 17:09:37.843811
• Title: Approximation Power of Deep Neural Networks: an explanatory mathematical survey
• Title（参考訳）: 深部ニューラルネットワークの近似パワー:説明数学的調査
• Authors: Owen Davis, Mohammad Motamed,
• Abstract要約: この調査では、ニューラルネットワークがターゲット関数をいかに効果的に近似するかを調べ、従来の近似法より優れている条件を特定する。 主なトピックは、ディープネットワークの非線形で構成的な構造と、回帰と分類設定における最適化問題としてのニューラルネットワークタスクの形式化である。 このサーベイは、深いReLUネットワークの近似能力と他の近似手法の近似能力を比較することで、連続関数空間におけるニューラルネットワークの密度を探索する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This survey provides an in-depth and explanatory review of the approximation properties of deep neural networks, with a focus on feed-forward and residual architectures. The primary objective is to examine how effectively neural networks approximate target functions and to identify conditions under which they outperform traditional approximation methods. Key topics include the nonlinear, compositional structure of deep networks and the formalization of neural network tasks as optimization problems in regression and classification settings. The survey also addresses the training process, emphasizing the role of stochastic gradient descent and backpropagation in solving these optimization problems, and highlights practical considerations such as activation functions, overfitting, and regularization techniques. Additionally, the survey explores the density of neural networks in the space of continuous functions, comparing the approximation capabilities of deep ReLU networks with those of other approximation methods. It discusses recent theoretical advancements in understanding the expressiveness and limitations of these networks. A detailed error-complexity analysis is also presented, focusing on error rates and computational complexity for neural networks with ReLU and Fourier-type activation functions in the context of bounded target functions with minimal regularity assumptions. Alongside recent known results, the survey introduces new findings, offering a valuable resource for understanding the theoretical foundations of neural network approximation. Concluding remarks and further reading suggestions are provided.
• Abstract（参考訳）: このサーベイは、ディープニューラルネットワークの近似特性を詳細に説明し、フィードフォワードと残留アーキテクチャに焦点をあてる。 主な目的は、ニューラルネットワークがターゲット関数をいかに効果的に近似するかを調べ、従来の近似法より優れている条件を特定することである。 主なトピックは、ディープネットワークの非線形で構成的な構造と、回帰と分類設定における最適化問題としてのニューラルネットワークタスクの形式化である。 この調査はまた、これらの最適化問題を解決する上での確率勾配降下とバックプロパゲーションの役割を強調し、アクティベーション関数、オーバーフィッティング、正規化技術などの実践的考察を強調した。 さらに、このサーベイでは、深いReLUネットワークの近似能力と他の近似手法の近似能力を比較することで、連続関数空間におけるニューラルネットワークの密度について調査している。 これらのネットワークの表現性と制限を理解するための最近の理論的進歩について論じる。 また,ReLUとフーリエ型アクティベーション関数を持つニューラルネットワークの誤差率と計算複雑性を,最小の正規性仮定を持つ有界対象関数の文脈で考察した。 最近の既知の結果に加えて、この調査では、ニューラルネットワーク近似の理論的基礎を理解するための貴重なリソースとして、新たな発見が紹介されている。 コメントとさらなる読解提案を含む。

関連論文リスト

• Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study [8.183509993010983]
  深部演算子のネットワークにおけるニューラルネットワークのスケーリング法則をChenおよびChenスタイルアーキテクチャを用いて検討する。 我々は、その近似と一般化誤差を分析して、ニューラルネットワークのスケーリング法則を定量化する。 本結果は,演算子学習における神経スケーリング法則を部分的に説明し,その応用の理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-01T03:06:55Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• A new approach to generalisation error of machine learning algorithms: Estimates and convergence [0.0]
  本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。 本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
  論文  参考訳（メタデータ） (2023-06-23T20:57:31Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Multigoal-oriented dual-weighted-residual error estimation using deep neural networks [0.0]
  ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。 提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。 複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-21T16:59:44Z)
• Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
  ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。 我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
  論文  参考訳（メタデータ） (2021-11-23T20:31:42Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Analytical aspects of non-differentiable neural networks [0.0]
  本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。 ここでは,QNN が DNN と同じ表現性を持つことを示す。 また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
  論文  参考訳（メタデータ） (2020-11-03T17:20:43Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Expressivity of Deep Neural Networks [2.7909470193274593]
  本稿では,ニューラルネットワークの様々な近似結果について概説する。 既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
  論文  参考訳（メタデータ） (2020-07-09T13:08:01Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• Approximation smooth and sparse functions by deep neural networks without saturation [0.6396288020763143]
  本稿では,スムーズかつスパースな関数を近似するために,3つの層を隠蔽したディープニューラルネットワークを構築することを目的とする。 構成したディープネットは, 滑らかかつスパースな関数を制御可能な自由パラメータで近似することで, 最適近似率に達することを証明した。
  論文  参考訳（メタデータ） (2020-01-13T09:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。