論文の概要: Optimization dependent generalization bound for ReLU networks based on sensitivity in the tangent bundle

• arxiv url: http://arxiv.org/abs/2310.17378v2
• Date: Mon, 4 Dec 2023 15:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 21:49:58.749846
• Title: Optimization dependent generalization bound for ReLU networks based on sensitivity in the tangent bundle
• Title（参考訳）: タンジェントバンドルの感度に基づくReLUネットワークの最適化依存一般化
• Authors: D\'aniel R\'acz, Mih\'aly Petreczky, Andr\'as Csert\'an, B\'alint Dar\'oczy
• Abstract要約: 本稿では,フィードフォワードReLUネットワークの一般化誤差に基づいたPAC型を提案する。 得られた境界はネットワークの深さに明示的に依存しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in deep learning have given us some very promising results on the generalization ability of deep neural networks, however literature still lacks a comprehensive theory explaining why heavily over-parametrized models are able to generalize well while fitting the training data. In this paper we propose a PAC type bound on the generalization error of feedforward ReLU networks via estimating the Rademacher complexity of the set of networks available from an initial parameter vector via gradient descent. The key idea is to bound the sensitivity of the network's gradient to perturbation of the input data along the optimization trajectory. The obtained bound does not explicitly depend on the depth of the network. Our results are experimentally verified on the MNIST and CIFAR-10 datasets.
• Abstract（参考訳）: 近年のディープラーニングの進歩は、ディープニューラルネットワークの一般化能力に非常に有望な結果をもたらしたが、なぜ過度にパラメータ化されたモデルがトレーニングデータに適合しながら一般化できるのかを説明する包括的な理論はいまだに欠けている。 本稿では,初期パラメータベクトルから勾配降下によって得られるネットワークの集合のラデマシェ複雑性を推定することにより,feedforward reluネットワークの一般化誤差にバインドしたpac型を提案する。 鍵となるアイデアは、ネットワークの勾配の感度を最適化軌道に沿って入力データの摂動に制限することである。 得られた境界はネットワークの深さに明示的に依存しない。 MNISTおよびCIFAR-10データセットを用いて実験を行った。

関連論文リスト

• Covering Numbers for Deep ReLU Networks with Applications to Function Approximation and Nonparametric Regression [4.297070083645049]
  我々は、完全連結ネットワークの被覆数に対して、(乗法定数まで)下限と上限を密に展開する。 境界の厳密さにより、疎度、量子化、有界対非有界重み、およびネットワーク出力トランケーションの影響の根本的な理解が展開できる。
  論文  参考訳（メタデータ） (2024-10-08T21:23:14Z)
• On the growth of the parameters of approximating ReLU neural networks [0.542249320079018]
  この研究は、与えられた滑らかな関数を近似する完全連結フィードフォワードReLUニューラルネットワークの解析に焦点を当てる。 アーキテクチャの増大にともなう,従来の普遍近似特性とは対照的に,近似ネットワークのパラメータの増大が懸念される。
  論文  参考訳（メタデータ） (2024-06-21T07:45:28Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。