Fugu-MT 論文翻訳(概要): On Rademacher Complexity-based Generalization Bounds for Deep Learning

論文の概要: On Rademacher Complexity-based Generalization Bounds for Deep Learning

arxiv url: http://arxiv.org/abs/2208.04284v3
Date: Fri, 27 Sep 2024 17:29:24 GMT
ステータス: 処理完了
システム内更新日: 2024-11-09 15:46:48.480515
Title: On Rademacher Complexity-based Generalization Bounds for Deep Learning
Title（参考訳）: ディープラーニングのためのラデマッハ複雑度に基づく一般化境界について
Authors: Lan V. Truong,
Abstract要約: Rademacherの複雑性に基づくアプローチは、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができることを示す。以上の結果から,ReLU,Leaky ReLU,Parametric Rectifier Linear Unit,Sigmoid,Tanhなどの特別なアクティベーション機能を持つCNNのネットワーク長に依存しないことがわかった。
参考スコア（独自算出の注目度）: 18.601449856300984
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We show that the Rademacher complexity-based approach can generate non-vacuous generalisation bounds on Convolutional Neural Networks (CNNs) for classifying a small number of classes of images. The development of new Talagrand's contraction lemmas for high-dimensional mappings between function spaces and CNNs for general Lipschitz activation functions is a key technical contribution. Our results show that the Rademacher complexity does not depend on the network length for CNNs with some special types of activation functions such as ReLU, Leaky ReLU, Parametric Rectifier Linear Unit, Sigmoid, and Tanh.
Abstract（参考訳）: Rademacherの複雑性に基づくアプローチは、少数の画像のクラスを分類するために、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができる。一般リプシッツ活性化関数に対する関数空間とCNNの間の高次元写像のための新しいタラグランド縮約補題の開発は重要な技術的貢献である。以上の結果から,ReLU,Leaky ReLU,Parametric Rectifier Linear Unit,Sigmoid,Tanhなどの特別なアクティベーション機能を持つCNNのネットワーク長に依存しないことがわかった。

関連論文リスト

Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
論文参考訳（メタデータ） (2023-06-12T16:17:04Z)
On Size-Independent Sample Complexity of ReLU Networks [9.15749739027059]
一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。関連する関数クラスのRademacher複雑性を推定する。
論文参考訳（メタデータ） (2023-06-03T03:41:33Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文参考訳（メタデータ） (2022-02-13T10:54:59Z)
Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文参考訳（メタデータ） (2021-10-28T14:59:41Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
On the Expected Complexity of Maxout Networks [0.0]
近年の研究では、深いReLUネットワークの実際的な複雑さは理論的な最大値からは程遠いことが示されている。本研究では、この現象は、最大(マルチモーメント)アクティベーション関数を持つネットワークでも発生することを示す。また、パラメータ空間は、広く異なる複雑さを持つ多次元領域を持ち、期待される複雑さの非自明な下界を得ることを示す。
論文参考訳（メタデータ） (2021-07-01T11:36:32Z)
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory [19.216784367141972]
本研究では,ReLUアクティベーション機能を用いた深層ニューラルネットワークが学習する関数の特性を理解するための変分フレームワークを開発する。我々は、深層 relu ネットワークが、この関数空間における正規化データ適合問題の解であることを示す表現子定理を導出する。
論文参考訳（メタデータ） (2021-05-07T16:18:22Z)
Neural network approaches to point lattice decoding [6.025026882312586]
voronoi-reduced基底は二元集合への解の空間を制限するために導入された。 CPWL復号関数におけるアフィンの個数を数え、復号問題の複雑さを特徴づける。
論文参考訳（メタデータ） (2020-12-13T10:53:34Z)
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。私たちの後悔の限界はエピソードの数とは無関係です。
論文参考訳（メタデータ） (2020-11-09T18:32:22Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。