論文の概要: Training ReLU networks to high uniform accuracy is intractable
- arxiv url: http://arxiv.org/abs/2205.13531v1
- Date: Thu, 26 May 2022 17:50:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 13:13:57.136973
- Title: Training ReLU networks to high uniform accuracy is intractable
- Title(参考訳): 均一精度の高いReLUネットワークの訓練は困難である
- Authors: Julius Berner, Philipp Grohs, Felix Voigtlaender
- Abstract要約: 与えられた一様精度を保証するために,任意の学習アルゴリズムに必要なトレーニングサンプル数を定量化する。
我々は、ReLUニューラルネットワークを高精度にトレーニングすることは難解であると結論付けた。
- 参考スコア(独自算出の注目度): 7.723983475351976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Statistical learning theory provides bounds on the necessary number of
training samples needed to reach a prescribed accuracy in a learning problem
formulated over a given target class. This accuracy is typically measured in
terms of a generalization error, that is, an expected value of a given loss
function. However, for several applications -- for example in a
security-critical context or for problems in the computational sciences --
accuracy in this sense is not sufficient. In such cases, one would like to have
guarantees for high accuracy on every input value, that is, with respect to the
uniform norm. In this paper we precisely quantify the number of training
samples needed for any conceivable training algorithm to guarantee a given
uniform accuracy on any learning problem formulated over target classes
containing (or consisting of) ReLU neural networks of a prescribed
architecture. We prove that, under very general assumptions, the minimal number
of training samples for this task scales exponentially both in the depth and
the input dimension of the network architecture. As a corollary we conclude
that the training of ReLU neural networks to high uniform accuracy is
intractable. In a security-critical context this points to the fact that deep
learning based systems are prone to being fooled by a possible adversary. We
corroborate our theoretical findings by numerical results.
- Abstract(参考訳): 統計的学習理論は、与えられた対象クラス上で定式化された学習問題において、所定の精度に達するために必要なトレーニングサンプル数の境界を提供する。
この精度は典型的には一般化誤差、すなわち与えられた損失関数の期待値で測定される。
しかし、セキュリティクリティカルな状況や計算科学の問題など、いくつかのアプリケーションでは、この意味での精度は不十分である。
そのような場合、全ての入力値、すなわち、一様ノルムに関して、高い精度を保証したい。
本稿では,任意の学習アルゴリズムに必要なトレーニングサンプル数を正確に定量化し,所定のアーキテクチャのReLUニューラルネットワークを含む(あるいは構成する)ターゲットクラス上で定式化された学習問題に対して,所定の均一性を保証する。
非常に一般的な仮定の下では、このタスクのトレーニングサンプルの最小数は、ネットワークアーキテクチャの深さと入力次元の両方で指数関数的にスケールする。
結論として,ReLUニューラルネットワークのトレーニングを高精度に行うことは困難である。
セキュリティクリティカルな文脈では、ディープラーニングベースのシステムは、潜在的な敵に騙される傾向にあるという事実を指摘する。
数値的な結果から理論的知見を裏付ける。
関連論文リスト
- The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in
Deep Learning [73.5095051707364]
経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。
理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
論文 参考訳(メタデータ) (2023-09-13T16:33:27Z) - Efficient Uncertainty Quantification and Reduction for
Over-Parameterized Neural Networks [23.7125322065694]
不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。
統計学的に保証されたスキームを作成し、主に、過剰パラメータ化ニューラルネットワークの不確実性である、エンフェラクタライズし、エンフェレモーブする。
特に,PNC予測器(Procedural-noise-correcting, Procedural-noise-correcting, PNC)に基づくアプローチでは,適切なラベル付きデータセットでトレーニングされたEmphone補助ネットワークのみを用いることで,手続き的不確実性を取り除く。
論文 参考訳(メタデータ) (2023-06-09T05:15:53Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳(メタデータ) (2023-03-25T08:56:21Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳(メタデータ) (2022-11-29T13:32:38Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳(メタデータ) (2022-01-26T18:47:38Z) - How does unlabeled data improve generalization in self-training? A
one-hidden-layer theoretical analysis [93.37576644429578]
この研究は、既知の反復的自己学習パラダイムに関する最初の理論的分析を確立する。
トレーニング収束と一般化能力の両面で、ラベルなしデータの利点を実証する。
また、浅部ニューラルネットワークから深部ニューラルネットワークへの実験は、我々の確立した自己学習に関する理論的知見の正しさを正当化するものである。
論文 参考訳(メタデータ) (2022-01-21T02:16:52Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳(メタデータ) (2021-10-12T01:11:07Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳(メタデータ) (2021-10-08T17:03:34Z) - A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs [11.152761263415046]
本稿では,深層ニューラルネットワーク(DNN)のトレーニングデータ量と一般化誤差のスケールについて考察する。
我々は、ディープネットワークに保持され、到達不能な容量尺度に依存しない一般化誤差の推定を導出する。
論文 参考訳(メタデータ) (2021-05-05T05:14:08Z) - Scalable Verification of Quantized Neural Networks (Technical Report) [14.04927063847749]
ビットベクトル仕様を持つ量子化ニューラルネットワークのビットエクササイズ実装はPSPACEハードであることを示す。
量子化されたニューラルネットワークのSMTに基づく検証をよりスケーラブルにするための3つの手法を提案する。
論文 参考訳(メタデータ) (2020-12-15T10:05:37Z) - Confidence-Aware Learning for Deep Neural Networks [4.9812879456945]
本稿では,新たな損失関数であるCorrectness Ranking Lossを用いたディープニューラルネットワークのトレーニング手法を提案する。
クラス確率を明示的に規則化し、信頼度に応じて順序付けされたランキングでより良い信頼度の推定を行う。
従来の深層分類器とほぼ同じ計算コストを持ち、1つの推論で信頼性のある予測を出力する。
論文 参考訳(メタデータ) (2020-07-03T02:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。