論文の概要: Universal Approximation Theorems of Fully Connected Binarized Neural Networks

• arxiv url: http://arxiv.org/abs/2102.02631v1
• Date: Thu, 4 Feb 2021 14:30:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-06 02:43:06.378220
• Title: Universal Approximation Theorems of Fully Connected Binarized Neural Networks
• Title（参考訳）: 完全連結二元化ニューラルネットワークの普遍近似定理
• Authors: Mikail Yayla, Mario G\"unzel, Burim Ramosaj, and Jian-Jia Chen
• Abstract要約: バイナリニューラルネットワーク(BNN)は、重みとアクティベーションドメインを2つの値に制限することにより、時間とメモリ要求を著しく削減する。 完全連結BNNに対する普遍近似(UA)定理を以下のシナリオで提供する。 その結果, 完全に連結されたBNNは, 一定の条件下で関数を普遍的に近似できることがわかった。
• 参考スコア（独自算出の注目度）: 2.38666161758592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks (NNs) are known for their high predictive accuracy in complex learning problems. Beside practical advantages, NNs also indicate favourable theoretical properties such as universal approximation (UA) theorems. Binarized Neural Networks (BNNs) significantly reduce time and memory demands by restricting the weight and activation domains to two values. Despite the practical advantages, theoretical guarantees based on UA theorems of BNNs are rather sparse in the literature. We close this gap by providing UA theorems for fully connected BNNs under the following scenarios: (1) for binarized inputs, UA can be constructively achieved under one hidden layer; (2) for inputs with real numbers, UA can not be achieved under one hidden layer but can be constructively achieved under two hidden layers for Lipschitz-continuous functions. Our results indicate that fully connected BNNs can approximate functions universally, under certain conditions.
• Abstract（参考訳）: ニューラルネットワーク(NN)は、複雑な学習問題において高い予測精度で知られている。 実用的な利点に加えて、NNs は普遍近似(UA)定理のような好ましい理論特性も示している。 バイナリニューラルネットワーク(BNN)は、重みとアクティベーションドメインを2つの値に制限することにより、時間とメモリ要求を著しく削減する。 実用上の利点にもかかわらず、BNNs の UA 定理に基づく理論上の保証は、文献ではむしろ乏しい。 1)バイナライズされた入力の場合、UAは1つの隠れた層の下で構造的に達成できる。(2)実数を持つ入力の場合、UAは1つの隠れた層では達成できないが、Lipschitz-continuous関数では2つの隠れた層の下で構造的に達成できる。 その結果、完全連結BNNは、特定の条件下で普遍的に関数を近似できることが示された。

関連論文リスト

• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。 我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。 我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つNNを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Universal Approximation Property of Hamiltonian Deep Neural Networks [0.0]
  我々はHDNNのフローの一部がコンパクト領域上の任意の連続関数を任意に近似できることを示した。 この結果はHDNNの実用化のための確かな理論基盤を提供する。
  論文  参考訳（メタデータ） (2023-03-21T19:10:09Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Explicitising The Implicit Intrepretability of Deep Neural Networks Via Duality [5.672223170618133]
  Lakshminarayanan氏とSingh氏の最近の研究は、修正線形ユニット(ReLU)を備えた完全連結ディープニューラルネットワーク(DNN)のための二重ビューを提供する。
  論文  参考訳（メタデータ） (2022-03-01T03:08:21Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。