論文の概要: On Rademacher Complexity-based Generalization Bounds for Deep Learning
- arxiv url: http://arxiv.org/abs/2208.04284v1
- Date: Mon, 8 Aug 2022 17:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 12:40:18.879203
- Title: On Rademacher Complexity-based Generalization Bounds for Deep Learning
- Title(参考訳): ラデマッハ複雑性に基づく深層学習のための一般化境界について
- Authors: Lan V. Truong
- Abstract要約: 深層学習におけるRademacher複雑性と一般化誤差の新たな境界を開発する。
関数空間とディープニューラルネットワークの間の高次元マッピングのためのタラグランドの縮約補題の開発は、この研究の重要な技術的貢献である。
- 参考スコア(独自算出の注目度): 16.3460693863947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we develop some novel bounds for the Rademacher complexity and
the generalization error in deep learning with i.i.d. and Markov datasets. The
new Rademacher complexity and generalization bounds are tight up to
$O(1/\sqrt{n})$ where $n$ is the size of the training set. They can be
exponentially decayed in the depth $L$ for some neural network structures. The
development of Talagrand's contraction lemmas for high-dimensional mappings
between function spaces and deep neural networks for general activation
functions is a key technical contribution to this work.
- Abstract(参考訳): 本稿では,i.i.d.とマルコフデータセットを用いた深層学習におけるラデマッハ複雑性と一般化誤差の新しい境界について述べる。
新しいrademacherの複雑さと一般化の限界は、トレーニングセットのサイズが$n$である場合、$o(1/\sqrt{n})$に厳密である。
それらは、いくつかのニューラルネットワーク構造に対して深さ$L$で指数関数的に崩壊することができる。
関数空間と一般活性化関数のためのディープニューラルネットワーク間の高次元マッピングのためのtalagrandの縮小補題の開発は、この研究における重要な技術的貢献である。
関連論文リスト
- Improving the Expressive Power of Deep Neural Networks through Integral
Activation Transform [12.36064367319084]
従来の完全接続型ディープニューラルネットワーク(DNN)を連続幅の概念により一般化する。
IAT-ReLUは連続基底関数を用いる場合に連続的な活性化パターンを示す。
数値実験により,IAT-ReLUはトレーニング性やスムーズさの点で,通常のReLUよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-12-19T20:23:33Z) - Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。
この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。
本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
論文 参考訳(メタデータ) (2023-06-12T16:17:04Z) - On Size-Independent Sample Complexity of ReLU Networks [9.15749739027059]
一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。
関連する関数クラスのRademacher複雑性を推定する。
論文 参考訳(メタデータ) (2023-06-03T03:41:33Z) - Spherical Inducing Features for Orthogonally-Decoupled Gaussian
Processes [7.4468224549568705]
ガウス過程(GP)は、表現を学習する能力の欠如により、ディープニューラルネットワーク(NN)と比較されることがしばしばある。
GPとディープNNのギャップを埋める最近の試みは、新しいタイプのドメイン間変分GPを生み出し、誘導変数はフィードフォワードNNの隠れ単位に対応する。
論文 参考訳(メタデータ) (2023-04-27T09:00:02Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳(メタデータ) (2023-01-01T02:11:39Z) - PAC-Bayes Compression Bounds So Tight That They Can Explain
Generalization [48.26492774959634]
線形部分空間におけるニューラルネットワークパラメータの量子化に基づく圧縮手法を開発した。
我々は、オッカムのカミソリをカプセル化した大きなモデルを、以前に知られていたよりもはるかに大きな範囲に圧縮できることを発見した。
論文 参考訳(メタデータ) (2022-11-24T13:50:16Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳(メタデータ) (2022-11-22T16:30:33Z) - Neural Set Function Extensions: Learning with Discrete Functions in High
Dimensions [63.21838830509772]
集合関数を低次元連続領域に拡張するためのフレームワークを開発する。
我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。
我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
論文 参考訳(メタデータ) (2022-08-08T10:58:02Z) - Orthogonal Graph Neural Networks [53.466187667936026]
グラフニューラルネットワーク(GNN)は,ノード表現の学習において優れていたため,大きな注目を集めている。
より畳み込み層を積み重ねることで、GNNのパフォーマンスが大幅に低下する。
本稿では,モデルトレーニングの安定化とモデル一般化性能の向上のために,既存のGNNバックボーンを拡張可能なOrtho-GConvを提案する。
論文 参考訳(メタデータ) (2021-09-23T12:39:01Z) - On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。
入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
論文 参考訳(メタデータ) (2020-07-04T23:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。