論文の概要: Approximation speed of quantized vs. unquantized ReLU neural networks
and beyond
- arxiv url: http://arxiv.org/abs/2205.11874v1
- Date: Tue, 24 May 2022 07:48:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-26 15:20:06.854642
- Title: Approximation speed of quantized vs. unquantized ReLU neural networks
and beyond
- Title(参考訳): 量子化と非量子化ReLUニューラルネットワークの近似速度
- Authors: Antoine Gonon (DANTE, ARIC), Nicolas Brisebarre (ARIC), R\'emi
Gribonval (DANTE), Elisa Riccietti (DANTE)
- Abstract要約: 本稿では,ReLUニューラルネットワークを含む一般近似系について考察する。
我々は、ReLUネットワークが一様量子化可能であることを保証するために$infty$-encodabilityを使用する。
また、ReLUネットワークは、他の多くの近似系と共通の制限を共有していることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider general approximation families encompassing ReLU neural networks.
On the one hand, we introduce a new property, that we call
$\infty$-encodability, which lays a framework that we use (i) to guarantee that
ReLU networks can be uniformly quantized and still have approximation speeds
comparable to unquantized ones, and (ii) to prove that ReLU networks share a
common limitation with many other approximation families: the approximation
speed of a set C is bounded from above by an encoding complexity of C (a
complexity well-known for many C's). The property of $\infty$-encodability
allows us to unify and generalize known results in which it was implicitly
used. On the other hand, we give lower and upper bounds on the Lipschitz
constant of the mapping that associates the weights of a network to the
function they represent in L^p. It is given in terms of the width, the depth of
the network and a bound on the weight's norm, and it is based on well-known
upper bounds on the Lipschitz constants of the functions represented by ReLU
networks. This allows us to recover known results, to establish new bounds on
covering numbers, and to characterize the accuracy of naive uniform
quantization of ReLU networks.
- Abstract(参考訳): ReLUニューラルネットワークを含む一般近似系を考える。
一方、我々は$\infty$-encodabilityと呼ばれる新しいプロパティを導入しています。
i) ReLU ネットワークが均一に量子化され、なおも非定量化に匹敵する近似速度を持つことを保証し、
(ii) reluネットワークが他の多くの近似族と共通の制限を共有していることを証明するために、集合 c の近似速度は上から c の符号化複雑性によって制限される(多くの c でよく知られている複雑性)。
$\infty$-encodabilityの特性により、暗黙的に使われた既知の結果を統一し、一般化することができる。
一方、ネットワークの重みを l^p で表現する関数に関連付ける写像のリプシッツ定数の下限と上限を与える。
これは、幅、ネットワークの深さ、およびウェイトノルム上の有界という観点から与えられ、ReLUネットワークで表される関数のリプシッツ定数上のよく知られた上限に基づいている。
これにより、既知の結果を復元し、カバー数に新たな境界を定め、ReLUネットワークのネーブ均一量子化の精度を特徴付けることができる。
関連論文リスト
- Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳(メタデータ) (2023-12-18T22:29:40Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳(メタデータ) (2023-09-26T17:42:52Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳(メタデータ) (2023-09-12T13:03:47Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2021-11-02T06:44:10Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - Analytical bounds on the local Lipschitz constants of ReLU networks [0.0]
我々は、ReLU, affine-ReLU, max pooling functionに対してリプシッツ定数と境界を導出した。
提案手法は,AlexNet や VGG-16 などの大規模ネットワークに対する最小対向摂動における最大の境界を生成する。
論文 参考訳(メタデータ) (2021-04-29T21:57:47Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - Quantile regression with deep ReLU Networks: Estimators and minimax
rates [4.522666263036413]
線形整流ユニット(ReLU)ニューラルネットワークを用いた量子レグレッションについて検討する。
ReLUネットワークの期待平均2乗誤差の上限を導出する。
これらの厳密な境界は、量子レグレッションを持つReLUネットワークが、関数型の広いコレクションに対して最小値の速度を達成することを示唆している。
論文 参考訳(メタデータ) (2020-10-16T08:34:04Z) - Analytical bounds on the local Lipschitz constants of affine-ReLU
functions [0.0]
Affine-ReLU関数の局所リプシッツ定数の上界を数学的に決定する。
ネットワーク全体のバウンダリを決定するために、これらのバウンダリをどのように組み合わせることができるかを示す。
我々は、この結果をAlexNetに適用し、MNISTとCIFAR-10データセットに基づくいくつかの小さなネットワークを例示する。
論文 参考訳(メタデータ) (2020-08-14T00:23:21Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳(メタデータ) (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。