論文の概要: Consistency of Neural Networks with Regularization

• arxiv url: http://arxiv.org/abs/2207.01538v1
• Date: Wed, 22 Jun 2022 23:33:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-10 12:01:19.789950
• Title: Consistency of Neural Networks with Regularization
• Title（参考訳）: 正規化によるニューラルネットワークの一貫性
• Authors: Xiaoxi Shen, Jinghang Lin
• Abstract要約: 本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural networks have attracted a lot of attention due to its success in applications such as natural language processing and computer vision. For large scale data, due to the tremendous number of parameters in neural networks, overfitting is an issue in training neural networks. To avoid overfitting, one common approach is to penalize the parameters especially the weights in neural networks. Although neural networks has demonstrated its advantages in many applications, the theoretical foundation of penalized neural networks has not been well-established. Our goal of this paper is to propose the general framework of neural networks with regularization and prove its consistency. Under certain conditions, the estimated neural network will converge to true underlying function as the sample size increases. The method of sieves and the theory on minimal neural networks are used to overcome the issue of unidentifiability for the parameters. Two types of activation functions: hyperbolic tangent function(Tanh) and rectified linear unit(ReLU) have been taken into consideration. Simulations have been conducted to verify the validation of theorem of consistency.
• Abstract（参考訳）: ニューラルネットワークは自然言語処理やコンピュータビジョンなどの応用で成功しているため、多くの注目を集めている。 大規模データの場合、ニューラルネットワークのパラメータが膨大であるため、ニューラルネットワークのトレーニングではオーバーフィッティングが問題となる。 過剰フィッティングを避けるための一般的なアプローチは、パラメーター、特にニューラルネットワークの重み付けをペナルティ化することである。 ニューラルネットワークは多くの応用においてその利点を示しているが、ペナルドニューラルネットワークの理論的な基礎は確立されていない。 本稿では,正規化を伴うニューラルネットワークの汎用フレームワークを提案し,その一貫性を証明することを目的とする。 ある条件下では、推定されたニューラルネットワークはサンプルサイズが大きくなるにつれて真の基礎関数に収束する。 最小限のニューラルネットワークにおけるシーブの方法と理論は、パラメータの不特定可能性の問題を克服するために用いられる。 双曲型タンジェント関数(Tanh)と整流線形単位(ReLU)の2種類の活性化関数が検討されている。 一貫性の定理の妥当性を検証するためにシミュレーションが行われている。

関連論文リスト

• Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
  行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。 本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-18T05:39:32Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Specification-Driven Neural Network Reduction for Scalable Formal Verification [8.751383865142772]
  本稿では,ネットワークの検証が元のネットワークの検証を意味することを確実にする,保守的なニューラルネットワーク削減手法を提案する。 評価の結果,本手法はニューロン数の5%未満までネットワークを縮小し,検証時間を短縮できることがわかった。
  論文  参考訳（メタデータ） (2023-05-03T07:13:47Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
  使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。 最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
  論文  参考訳（メタデータ） (2022-01-30T04:52:31Z)
• Fourier Neural Networks for Function Approximation [2.840363325289377]
  ニューラルネットワークが普遍近似器であることは広く証明されている。 特に、狭いニューラルネットワークが、ディープニューラルネットワークによって実装されている関数を近似するために、ネットワークは指数関数的に多数のニューロンを取ることが証明されている。
  論文  参考訳（メタデータ） (2021-10-21T09:30:26Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
  我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。 適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
  論文  参考訳（メタデータ） (2021-05-20T04:54:57Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
  ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。 Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
  論文  参考訳（メタデータ） (2020-02-18T05:58:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。