論文の概要: A path-norm toolkit for modern networks: consequences, promises and
challenges
- arxiv url: http://arxiv.org/abs/2310.01225v1
- Date: Mon, 2 Oct 2023 14:12:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 21:32:43.894226
- Title: A path-norm toolkit for modern networks: consequences, promises and
challenges
- Title（参考訳）: 現代のネットワークのためのパスノルムツールキット:結果、約束、挑戦
- Authors: Antoine Gonon, Nicolas Brisebarre, Elisa Riccietti, R\'emi Gribonval
- Abstract要約: この研究はパスノルムに関する最初のツールキットを導入し、バイアスのある一般的なDAG ReLUネットワークを網羅し、接続をスキップし、最大プールする。
ツールキットの汎用性と実装の容易さにより、パスノルムに基づく一般化境界の具体的な約束に挑戦することができる。
- 参考スコア（独自算出の注目度）: 4.710921988115686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work introduces the first toolkit around path-norms that is fully able
to encompass general DAG ReLU networks with biases, skip connections and max
pooling. This toolkit notably allows us to establish generalization bounds for
real modern neural networks that are not only the most widely applicable
path-norm based ones, but also recover or beat the sharpest known bounds of
this type. These extended path-norms further enjoy the usual benefits of
path-norms: ease of computation, invariance under the symmetries of the
network, and improved sharpness on feedforward networks compared to the product
of operators' norms, another complexity measure most commonly used.
The versatility of the toolkit and its ease of implementation allow us to
challenge the concrete promises of path-norm-based generalization bounds, by
numerically evaluating the sharpest known bounds for ResNets on ImageNet.
- Abstract（参考訳）: この研究はパスノルムに関する最初のツールキットを導入し、バイアスのある一般的なDAG ReLUネットワークを網羅し、接続をスキップし、最大プールする。
このツールキットにより、最も広く適用可能なパスノルムに基づくニューラルネットワークだけでなく、このタイプの最も鋭い既知の境界を回復または打ち負かすような、現実の現代のニューラルネットワークの一般化境界を確立することができる。
これらの拡張パスノルムは、計算の容易さ、ネットワークの対称性の下での不変性、および演算子のノルムの積と比較してフィードフォワードネットワークのシャープネスの改善など、パスノルムの通常の利点をさらに享受する。
ツールキットの汎用性と実装の容易さにより、imagenet上で最もシャープなresnet境界を数値的に評価することで、パスノルムベースの一般化境界の具体的な約束に挑戦できる。
関連論文リスト
- Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。
この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文 参考訳（メタデータ） (2024-03-14T21:48:00Z) - Designing Stable Neural Networks using Convex Analysis and ODEs [8.398989555267915]
提案するResNetスタイルのニューラルネットワークアーキテクチャは,非拡張型(1-Lipschitz)演算子を符号化する。
提案手法は, 逆方向の頑健な画像分類問題, 画像デノイング問題, 逆方向のデブロアリング問題に適用される。
論文 参考訳（メタデータ） (2023-06-29T22:59:47Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - Deep Learning without Shortcuts: Shaping the Kernel with Tailored
Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。
実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文 参考訳（メタデータ） (2022-03-15T17:49:08Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:00:36Z) - Complexity Measures for Neural Networks with General Activation
Functions Using Path-based Norms [18.487936403345167]
一般活性化関数を持つニューラルネットワークの複雑性制御を実現するための簡単な手法を提案する。
経路に基づくノルムを制御複雑性に導出する2層ネットワークとディープ・残差ネットワークを考察する。
論文 参考訳（メタデータ） (2020-09-14T01:15:11Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z) - OverNet: Lightweight Multi-Scale Super-Resolution with Overscaling
Network [3.6683231417848283]
SISRを任意のスケールで1つのモデルで解くための,深層でも軽量な畳み込みネットワークであるOverNetを紹介した。
我々のネットワークは、従来の手法よりも少ないパラメータを使用しながら、標準ベンチマークにおいて、過去の最先端結果よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-08-05T22:10:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。