論文の概要: A path-norm toolkit for modern networks: consequences, promises and challenges

• arxiv url: http://arxiv.org/abs/2310.01225v3
• Date: Fri, 24 Nov 2023 18:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 03:18:24.099936
• Title: A path-norm toolkit for modern networks: consequences, promises and challenges
• Title（参考訳）: 現代のネットワークのためのパスノルムツールキット:結果、約束、挑戦
• Authors: Antoine Gonon, Nicolas Brisebarre, Elisa Riccietti, R\'emi Gribonval
• Abstract要約: この研究は、一般的なDAG ReLUネットワークを完全に包含できるパスノルムに関する最初のツールキットを導入している。 これは、最も広く適用可能なパスノルムベースであるだけでなく、このタイプの最も鋭い既知の境界を回復または打ち負かすような、現代のニューラルネットワークの一般化境界を確立することを可能にする。
• 参考スコア（独自算出の注目度）: 4.710921988115686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work introduces the first toolkit around path-norms that is fully able to encompass general DAG ReLU networks with biases, skip connections and any operation based on the extraction of order statistics: max pooling, GroupSort etc. This toolkit notably allows us to establish generalization bounds for modern neural networks that are not only the most widely applicable path-norm based ones, but also recover or beat the sharpest known bounds of this type. These extended path-norms further enjoy the usual benefits of path-norms: ease of computation, invariance under the symmetries of the network, and improved sharpness on feedforward networks compared to the product of operators' norms, another complexity measure most commonly used. The versatility of the toolkit and its ease of implementation allow us to challenge the concrete promises of path-norm-based generalization bounds, by numerically evaluating the sharpest known bounds for ResNets on ImageNet.
• Abstract（参考訳）: この研究は、経路ノルムに関する最初のツールキットを導入し、バイアスのある一般的なDAG ReLUネットワークを網羅し、接続をスキップし、順序統計(最大プーリング、GroupSortなど)の抽出に基づいて操作する。 このツールキットにより、最も広く適用可能なパスノルムベースのものだけでなく、このタイプの最も鋭い境界を回復または打ち負かす現代のニューラルネットワークの一般化境界を確立することができる。 これらの拡張パスノルムは、計算の容易さ、ネットワークの対称性の下での不変性、および演算子のノルムの積と比較してフィードフォワードネットワークのシャープネスの改善など、パスノルムの通常の利点をさらに享受する。 ツールキットの汎用性と実装の容易さにより、imagenet上で最もシャープなresnet境界を数値的に評価することで、パスノルムベースの一般化境界の具体的な約束に挑戦できる。

関連論文リスト

• On Generalization Bounds for Neural Networks with Low Rank Layers [4.2954245208408866]
  深いネットワークにおける低ランク層がどのように階数や次元因子の蓄積を防げるかを解析するために、モーラーの鎖則をガウス複雑性に適用する。 この結果と,低ランク層を有するディープネットワークがフルランク層を有するディープネットワークよりも優れた一般化を実現できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T22:20:47Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Designing Stable Neural Networks using Convex Analysis and ODEs [8.398989555267915]
  提案するResNetスタイルのニューラルネットワークアーキテクチャは,非拡張型(1-Lipschitz)演算子を符号化する。 提案手法は, 逆方向の頑健な画像分類問題, 画像デノイング問題, 逆方向のデブロアリング問題に適用される。
  論文  参考訳（メタデータ） (2023-06-29T22:59:47Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Complexity Measures for Neural Networks with General Activation Functions Using Path-based Norms [18.487936403345167]
  一般活性化関数を持つニューラルネットワークの複雑性制御を実現するための簡単な手法を提案する。 経路に基づくノルムを制御複雑性に導出する2層ネットワークとディープ・残差ネットワークを考察する。
  論文  参考訳（メタデータ） (2020-09-14T01:15:11Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• OverNet: Lightweight Multi-Scale Super-Resolution with Overscaling Network [3.6683231417848283]
  SISRを任意のスケールで1つのモデルで解くための,深層でも軽量な畳み込みネットワークであるOverNetを紹介した。 我々のネットワークは、従来の手法よりも少ないパラメータを使用しながら、標準ベンチマークにおいて、過去の最先端結果よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-05T22:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。