Fugu-MT 論文翻訳(概要): On Rademacher Complexity-based Generalization Bounds for Deep Learning

論文の概要: On Rademacher Complexity-based Generalization Bounds for Deep Learning

arxiv url: http://arxiv.org/abs/2208.04284v4
Date: Thu, 13 Feb 2025 10:11:21 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-16 15:54:37.071900
Title: On Rademacher Complexity-based Generalization Bounds for Deep Learning
Title（参考訳）: ディープラーニングのためのラデマッハ複雑度に基づく一般化境界について
Authors: Lan V. Truong,
Abstract要約: 我々は,Rademacherの複雑性に基づくアプローチが,CNN上での空でない一般化境界を生成することを示す。一般リプシッツ活性化関数に対するベクトル空間間の高次元写像に対する新しい縮約補題は重要な技術的貢献である。
参考スコア（独自算出の注目度）: 18.601449856300984
License:
Abstract: We show that the Rademacher complexity-based approach can generate non-vacuous generalisation bounds on Convolutional Neural Networks (CNNs) for classifying a small number of classes of images. The development of new contraction lemmas for high-dimensional mappings between vector spaces for general Lipschitz activation functions is a key technical contribution. These lemmas extend and improve the Talagrand contraction lemma in a variety of cases. Our generalisation bound can improve Golowich et al. for ReLU DNNs. Furthermore, while prior works that use the Rademacher complexity-based approach primarily focus on ReLU DNNs, our results extend to a broader class of activation functions.
Abstract（参考訳）: Rademacherの複雑性に基づくアプローチは、少数の画像のクラスを分類するために、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができる。一般リプシッツ活性化関数に対するベクトル空間間の高次元写像のための新しい縮約補題の開発は重要な技術的貢献である。これらの補題は、様々なケースでタラグランド収縮補題を拡張し改善する。我々の一般化は、ReLU DNNのGolowichなどを改善することができる。さらに、Rademacherの複雑性に基づくアプローチを用いた以前の研究は、主にReLU DNNに焦点を当てていたが、その結果はより広範なアクティベーション関数のクラスにまで拡張された。

関連論文リスト

Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
論文参考訳（メタデータ） (2023-06-12T16:17:04Z)
On Size-Independent Sample Complexity of ReLU Networks [9.15749739027059]
一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。関連する関数クラスのRademacher複雑性を推定する。
論文参考訳（メタデータ） (2023-06-03T03:41:33Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文参考訳（メタデータ） (2022-02-13T10:54:59Z)
Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文参考訳（メタデータ） (2021-10-28T14:59:41Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
On the Expected Complexity of Maxout Networks [0.0]
近年の研究では、深いReLUネットワークの実際的な複雑さは理論的な最大値からは程遠いことが示されている。本研究では、この現象は、最大(マルチモーメント)アクティベーション関数を持つネットワークでも発生することを示す。また、パラメータ空間は、広く異なる複雑さを持つ多次元領域を持ち、期待される複雑さの非自明な下界を得ることを示す。
論文参考訳（メタデータ） (2021-07-01T11:36:32Z)
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory [19.216784367141972]
本研究では,ReLUアクティベーション機能を用いた深層ニューラルネットワークが学習する関数の特性を理解するための変分フレームワークを開発する。我々は、深層 relu ネットワークが、この関数空間における正規化データ適合問題の解であることを示す表現子定理を導出する。
論文参考訳（メタデータ） (2021-05-07T16:18:22Z)
Neural network approaches to point lattice decoding [6.025026882312586]
voronoi-reduced基底は二元集合への解の空間を制限するために導入された。 CPWL復号関数におけるアフィンの個数を数え、復号問題の複雑さを特徴づける。
論文参考訳（メタデータ） (2020-12-13T10:53:34Z)
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。私たちの後悔の限界はエピソードの数とは無関係です。
論文参考訳（メタデータ） (2020-11-09T18:32:22Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。