Fugu-MT 論文翻訳(概要): On Rademacher Complexity-based Generalization Bounds for Deep Learning

論文の概要: On Rademacher Complexity-based Generalization Bounds for Deep Learning

arxiv url: http://arxiv.org/abs/2208.04284v1
Date: Mon, 8 Aug 2022 17:24:04 GMT
ステータス: 処理完了
システム内更新日: 2022-08-09 12:40:18.879203
Title: On Rademacher Complexity-based Generalization Bounds for Deep Learning
Title（参考訳）: ラデマッハ複雑性に基づく深層学習のための一般化境界について
Authors: Lan V. Truong
Abstract要約: 深層学習におけるRademacher複雑性と一般化誤差の新たな境界を開発する。関数空間とディープニューラルネットワークの間の高次元マッピングのためのタラグランドの縮約補題の開発は、この研究の重要な技術的貢献である。
参考スコア（独自算出の注目度）: 16.3460693863947
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we develop some novel bounds for the Rademacher complexity and the generalization error in deep learning with i.i.d. and Markov datasets. The new Rademacher complexity and generalization bounds are tight up to $O(1/\sqrt{n})$ where $n$ is the size of the training set. They can be exponentially decayed in the depth $L$ for some neural network structures. The development of Talagrand's contraction lemmas for high-dimensional mappings between function spaces and deep neural networks for general activation functions is a key technical contribution to this work.
Abstract（参考訳）: 本稿では,i.i.d.とマルコフデータセットを用いた深層学習におけるラデマッハ複雑性と一般化誤差の新しい境界について述べる。新しいrademacherの複雑さと一般化の限界は、トレーニングセットのサイズが$n$である場合、$o(1/\sqrt{n})$に厳密である。それらは、いくつかのニューラルネットワーク構造に対して深さ$L$で指数関数的に崩壊することができる。関数空間と一般活性化関数のためのディープニューラルネットワーク間の高次元マッピングのためのtalagrandの縮小補題の開発は、この研究における重要な技術的貢献である。

関連論文リスト

Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
論文参考訳（メタデータ） (2023-06-12T16:17:04Z)
On Size-Independent Sample Complexity of ReLU Networks [9.15749739027059]
一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。関連する関数クラスのRademacher複雑性を推定する。
論文参考訳（メタデータ） (2023-06-03T03:41:33Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文参考訳（メタデータ） (2022-02-13T10:54:59Z)
Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文参考訳（メタデータ） (2021-10-28T14:59:41Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
On the Expected Complexity of Maxout Networks [0.0]
近年の研究では、深いReLUネットワークの実際的な複雑さは理論的な最大値からは程遠いことが示されている。本研究では、この現象は、最大(マルチモーメント)アクティベーション関数を持つネットワークでも発生することを示す。また、パラメータ空間は、広く異なる複雑さを持つ多次元領域を持ち、期待される複雑さの非自明な下界を得ることを示す。
論文参考訳（メタデータ） (2021-07-01T11:36:32Z)
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory [19.216784367141972]
本研究では,ReLUアクティベーション機能を用いた深層ニューラルネットワークが学習する関数の特性を理解するための変分フレームワークを開発する。我々は、深層 relu ネットワークが、この関数空間における正規化データ適合問題の解であることを示す表現子定理を導出する。
論文参考訳（メタデータ） (2021-05-07T16:18:22Z)
Neural network approaches to point lattice decoding [6.025026882312586]
voronoi-reduced基底は二元集合への解の空間を制限するために導入された。 CPWL復号関数におけるアフィンの個数を数え、復号問題の複雑さを特徴づける。
論文参考訳（メタデータ） (2020-12-13T10:53:34Z)
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。私たちの後悔の限界はエピソードの数とは無関係です。
論文参考訳（メタデータ） (2020-11-09T18:32:22Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。