論文の概要: Approximation speed of quantized vs. unquantized ReLU neural networks
and beyond
- arxiv url: http://arxiv.org/abs/2205.11874v1
- Date: Tue, 24 May 2022 07:48:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-26 15:20:06.854642
- Title: Approximation speed of quantized vs. unquantized ReLU neural networks
and beyond
- Title（参考訳）: 量子化と非量子化ReLUニューラルネットワークの近似速度
- Authors: Antoine Gonon (DANTE, ARIC), Nicolas Brisebarre (ARIC), R\'emi
Gribonval (DANTE), Elisa Riccietti (DANTE)
- Abstract要約: 本稿では,ReLUニューラルネットワークを含む一般近似系について考察する。
我々は、ReLUネットワークが一様量子化可能であることを保証するために$infty$-encodabilityを使用する。
また、ReLUネットワークは、他の多くの近似系と共通の制限を共有していることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider general approximation families encompassing ReLU neural networks.
On the one hand, we introduce a new property, that we call
$\infty$-encodability, which lays a framework that we use (i) to guarantee that
ReLU networks can be uniformly quantized and still have approximation speeds
comparable to unquantized ones, and (ii) to prove that ReLU networks share a
common limitation with many other approximation families: the approximation
speed of a set C is bounded from above by an encoding complexity of C (a
complexity well-known for many C's). The property of $\infty$-encodability
allows us to unify and generalize known results in which it was implicitly
used. On the other hand, we give lower and upper bounds on the Lipschitz
constant of the mapping that associates the weights of a network to the
function they represent in L^p. It is given in terms of the width, the depth of
the network and a bound on the weight's norm, and it is based on well-known
upper bounds on the Lipschitz constants of the functions represented by ReLU
networks. This allows us to recover known results, to establish new bounds on
covering numbers, and to characterize the accuracy of naive uniform
quantization of ReLU networks.
- Abstract（参考訳）: ReLUニューラルネットワークを含む一般近似系を考える。
一方、我々は$\infty$-encodabilityと呼ばれる新しいプロパティを導入しています。
i) ReLU ネットワークが均一に量子化され、なおも非定量化に匹敵する近似速度を持つことを保証し、
(ii) reluネットワークが他の多くの近似族と共通の制限を共有していることを証明するために、集合 c の近似速度は上から c の符号化複雑性によって制限される(多くの c でよく知られている複雑性)。
$\infty$-encodabilityの特性により、暗黙的に使われた既知の結果を統一し、一般化することができる。
一方、ネットワークの重みを l^p で表現する関数に関連付ける写像のリプシッツ定数の下限と上限を与える。
これは、幅、ネットワークの深さ、およびウェイトノルム上の有界という観点から与えられ、ReLUネットワークで表される関数のリプシッツ定数上のよく知られた上限に基づいている。
これにより、既知の結果を復元し、カバー数に新たな境界を定め、ReLUネットワークのネーブ均一量子化の精度を特徴付けることができる。
関連論文リスト
- Covering Numbers for Deep ReLU Networks with Applications to Function Approximation and Nonparametric Regression [4.297070083645049]
我々は、完全連結ネットワークの被覆数に対して、(乗法定数まで)下限と上限を密に展開する。
境界の厳密さにより、疎度、量子化、有界対非有界重み、およびネットワーク出力トランケーションの影響の根本的な理解が展開できる。
論文 参考訳（メタデータ） (2024-10-08T21:23:14Z) - Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces [0.0]
本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。
近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
論文 参考訳（メタデータ） (2024-05-10T14:31:58Z) - Three Quantization Regimes for ReLU Networks [3.823356975862005]
有限精度重み付き深部ReLUニューラルネットワークによるリプシッツ関数近似の基本的な限界を確立する。
適切な量子化方式では、ニューラルネットワークはリプシッツ関数の近似においてメモリ最適性を示す。
論文 参考訳（メタデータ） (2024-05-03T09:27:31Z) - Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。
この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文 参考訳（メタデータ） (2024-03-14T21:48:00Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2021-11-02T06:44:10Z) - Analytical bounds on the local Lipschitz constants of ReLU networks [0.0]
我々は、ReLU, affine-ReLU, max pooling functionに対してリプシッツ定数と境界を導出した。
提案手法は,AlexNet や VGG-16 などの大規模ネットワークに対する最小対向摂動における最大の境界を生成する。
論文 参考訳（メタデータ） (2021-04-29T21:57:47Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Analytical bounds on the local Lipschitz constants of affine-ReLU
functions [0.0]
Affine-ReLU関数の局所リプシッツ定数の上界を数学的に決定する。
ネットワーク全体のバウンダリを決定するために、これらのバウンダリをどのように組み合わせることができるかを示す。
我々は、この結果をAlexNetに適用し、MNISTとCIFAR-10データセットに基づくいくつかの小さなネットワークを例示する。
論文 参考訳（メタデータ） (2020-08-14T00:23:21Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。