論文の概要: Statistical Guarantees for Approximate Stationary Points of Simple Neural Networks

• arxiv url: http://arxiv.org/abs/2205.04491v1
• Date: Mon, 9 May 2022 18:09:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 21:37:27.920743
• Title: Statistical Guarantees for Approximate Stationary Points of Simple Neural Networks
• Title（参考訳）: 単純ニューラルネットワークの近似定常点に対する統計的保証
• Authors: Mahsa Taheri, Fang Xie, Johannes Lederer
• Abstract要約: 我々は、対数的要因と大域的最適値に一致する単純なニューラルネットワークの統計的保証を開発する。 我々は,ニューラルネットワークの実用的性質を数学的に記述する上で一歩前進する。
• 参考スコア（独自算出の注目度）: 4.254099382808598
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Since statistical guarantees for neural networks are usually restricted to global optima of intricate objective functions, it is not clear whether these theories really explain the performances of actual outputs of neural-network pipelines. The goal of this paper is, therefore, to bring statistical theory closer to practice. We develop statistical guarantees for simple neural networks that coincide up to logarithmic factors with the global optima but apply to stationary points and the points nearby. These results support the common notion that neural networks do not necessarily need to be optimized globally from a mathematical perspective. More generally, despite being limited to simple neural networks for now, our theories make a step forward in describing the practical properties of neural networks in mathematical terms.
• Abstract（参考訳）: ニューラルネットワークの統計的保証は通常、複雑な目的関数の大域的最適に制限されるため、これらの理論が実際にニューラルネットワークパイプラインの実際の出力の性能を説明するかどうかは不明である。 そこで本論文の目的は,統計的理論を実践に近づけることである。 我々は,グローバル最適値と対数的因子に一致する単純なニューラルネットワークの統計的保証を開発するが,静止点や近傍の点に適用する。 これらの結果は、ニューラルネットワークが必ずしも数学的観点からグローバルに最適化される必要はないという一般的な概念を支持する。 より一般的には、今のところは単純なニューラルネットワークに限られているが、我々の理論は、数学的にニューラルネットワークの実用的性質を記述するために一歩前進している。

関連論文リスト

• Interpreting Neural Networks through Mahalanobis Distance [0.0]
  本稿では,ニューラルネットワークの線形層とマハラノビス距離を結合する理論的枠組みを提案する。 この研究は理論的であり、経験的データを含んでいないが、提案された距離に基づく解釈は、モデルロバスト性を高め、一般化を改善し、ニューラルネットワークの決定をより直観的な説明を提供する可能性がある。
  論文  参考訳（メタデータ） (2024-10-25T07:21:44Z)
• Jaynes Machine: The universal microstructure of deep neural networks [0.9086679566009702]
  我々は、ディープニューラルネットワークの高結合層はすべて、対数正規分布(LN(mu, sigma)$)の接続強度の普遍的なミクロ構造を持つと予測する。 理想的な条件下では、$mu$と$sigma$は全てのネットワークのすべての層で同じである。
  論文  参考訳（メタデータ） (2023-10-10T19:22:01Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Correlation between entropy and generalizability in a neural network [9.223853439465582]
  We use Wang-Landau Mote Carlo algorithm to compute the entropy at a specified test accuracy。 この結果から,エントロピック力は一般化に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-05T12:28:13Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Statistical Guarantees for Regularized Neural Networks [4.254099382808598]
  最小二乗項と正則化器からなる推定器の一般統計保証を開発する。 ニューラルネットワークの正規化推定のための数学的基礎を確立した。
  論文  参考訳（メタデータ） (2020-05-30T15:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。