論文の概要: A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs
- arxiv url: http://arxiv.org/abs/2105.01867v1
- Date: Wed, 5 May 2021 05:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-06 20:25:14.478165
- Title: A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs
- Title（参考訳）: DNNのサンプル複雑度推定に関する理論的実証的アプローチ
- Authors: Devansh Bisla, Apoorva Nandini Saridena, Anna Choromanska
- Abstract要約: 本稿では,深層ニューラルネットワーク(DNN)のトレーニングデータ量と一般化誤差のスケールについて考察する。
我々は、ディープネットワークに保持され、到達不能な容量尺度に依存しない一般化誤差の推定を導出する。
- 参考スコア（独自算出の注目度）: 11.152761263415046
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: This paper focuses on understanding how the generalization error scales with
the amount of the training data for deep neural networks (DNNs). Existing
techniques in statistical learning require computation of capacity measures,
such as VC dimension, to provably bound this error. It is however unclear how
to extend these measures to DNNs and therefore the existing analyses are
applicable to simple neural networks, which are not used in practice, e.g.,
linear or shallow ones or otherwise multi-layer perceptrons. Moreover, many
theoretical error bounds are not empirically verifiable. We derive estimates of
the generalization error that hold for deep networks and do not rely on
unattainable capacity measures. The enabling technique in our approach hinges
on two major assumptions: i) the network achieves zero training error, ii) the
probability of making an error on a test point is proportional to the distance
between this point and its nearest training point in the feature space and at a
certain maximal distance (that we call radius) it saturates. Based on these
assumptions we estimate the generalization error of DNNs. The obtained estimate
scales as O(1/(\delta N^{1/d})), where N is the size of the training data and
is parameterized by two quantities, the effective dimensionality of the data as
perceived by the network (d) and the aforementioned radius (\delta), both of
which we find empirically. We show that our estimates match with the
experimentally obtained behavior of the error on multiple learning tasks using
benchmark data-sets and realistic models. Estimating training data requirements
is essential for deployment of safety critical applications such as autonomous
driving etc. Furthermore, collecting and annotating training data requires a
huge amount of financial, computational and human resources. Our empirical
estimates will help to efficiently allocate resources.
- Abstract（参考訳）: 本稿では,深層ニューラルネットワーク(dnn)のトレーニングデータ量と一般化誤差の関係について考察する。
統計学習における既存の技術では、VC次元のようなキャパシティ測度を計算し、この誤差を確実に拘束する必要がある。
しかし、これらの対策をDNNにどのように拡張するかは定かではないため、既存の分析は単純なニューラルネットワークに適用できる。
さらに、多くの理論的誤差境界は経験的に検証できない。
我々は、ディープネットワークに保持され、到達不能な容量尺度に依存しない一般化誤差の推定を導出する。
i) ネットワークはゼロトレーニングエラーを達成し,ii) テストポイントにおける誤差が特徴空間におけるその点と最も近いトレーニングポイントとの間の距離に比例する確率と,それが飽和する極大距離(半径と呼ぶ)に比例する確率である。
これらの仮定に基づいてDNNの一般化誤差を推定する。
得られた推定値は o(1/(\delta n^{1/d}) でスケールされ、ここで n はトレーニングデータのサイズであり、ネットワーク (d) と前述の半径 (\delta) によって知覚されるデータの有効次元である2つの量でパラメータ化される。
ベンチマークデータセットと現実的なモデルを用いて,複数の学習タスクにおける誤差の挙動を実験的に求めた。
トレーニングデータ要件の見積は、自動運転などの安全上重要なアプリケーションの開発に不可欠である。
さらに、トレーニングデータの収集とアノテートには、膨大な財務的、計算的、人的リソースが必要です。
私たちの経験的見積もりは資源を効率的に割り当てるのに役立ちます。
関連論文リスト
- Neural Network Approximation for Pessimistic Offline Reinforcement
Learning [17.756108291816908]
一般ニューラルネットワーク近似を用いた悲観的オフラインRLの非漸近的推定誤差を提案する。
その結果, 推定誤差は2つの部分から構成されることがわかった。第1は, 部分的に制御可能な集束率でサンプルサイズに所望の速度で0に収束し, 第2は残留制約が厳密であれば無視可能である。
論文 参考訳（メタデータ） (2023-12-19T05:17:27Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - Network Gradient Descent Algorithm for Decentralized Federated Learning [0.2867517731896504]
本稿では,コミュニケーションベースネットワーク上で実行される新しい勾配勾配アルゴリズムである,完全に分散化されたフェデレーション学習アルゴリズムについて検討する。
NGD法では、統計(パラメータ推定など)のみを通信し、プライバシーのリスクを最小限に抑える必要がある。
学習速度とネットワーク構造の両方が,NGD推定器の統計的効率を決定する上で重要な役割を担っていることがわかった。
論文 参考訳（メタデータ） (2022-05-06T02:53:31Z) - Certified machine learning: A posteriori error estimation for
physics-informed neural networks [0.0]
PINNは、より小さなトレーニングセットに対して堅牢であることが知られ、より優れた一般化問題を導出し、より高速にトレーニングすることができる。
純粋にデータ駆動型ニューラルネットワークと比較してPINNを使うことは、トレーニング性能に好都合であるだけでなく、近似されたソリューションの品質に関する重要な情報を抽出できることを示す。
論文 参考訳（メタデータ） (2022-03-31T14:23:04Z) - HYDRA: Hypergradient Data Relevance Analysis for Interpreting Deep
Neural Networks [51.143054943431665]
本稿では、深層ニューラルネットワーク(DNN)による予測をトレーニングデータの効果として解釈する高次データ関連分析(HYDRA)を提案する。
HYDRAは、トレーニング軌跡全体を通して、テストデータポイントに対するトレーニングデータの貢献を評価する。
さらに,HyDRAは,データのコントリビューションを正確に推定し,ノイズのあるデータラベルを検出することで,影響関数よりも優れていることを定量的に示す。
論文 参考訳（メタデータ） (2021-02-04T10:00:13Z) - Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。
本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
論文 参考訳（メタデータ） (2020-11-16T06:51:55Z) - The training accuracy of two-layer neural networks: its estimation and
understanding using random datasets [0.0]
本研究では,空間分割に基づく新しい理論を提案し,ランダムデータセット上の2層ニューラルネットワークのトレーニング精度をトレーニングなしで推定する。
提案手法は,3つの引数のみを用いて,2種類のランダムデータセット上での2層完全連結ニューラルネットワークのトレーニング精度を推定する。
論文 参考訳（メタデータ） (2020-10-26T07:21:29Z) - Simple and Principled Uncertainty Estimation with Deterministic Deep
Learning via Distance Awareness [24.473250414880454]
単一ディープニューラルネットワーク(DNN)のみを必要とする高品質不確実性推定の原理的アプローチについて検討する。
この不確実性定量化を最小限の学習問題として定式化することにより、まず入力空間内のトレーニングデータから試験例の距離を定量化する入力距離認識を同定する。
次に, スペクトル正規化ニューラルガウス過程 (SNGP) を提案する。
論文 参考訳（メタデータ） (2020-06-17T19:18:22Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳（メタデータ） (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。