論文の概要: Path-metrics, pruning, and generalization

• arxiv url: http://arxiv.org/abs/2405.15006v1
• Date: Thu, 23 May 2024 19:23:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 19:17:31.731152
• Title: Path-metrics, pruning, and generalization
• Title（参考訳）: パスメトリック、プルーニング、一般化
• Authors: Antoine Gonon, Nicolas Brisebarre, Elisa Riccietti, Rémi Gribonval,
• Abstract要約: 本稿では,パラメータのパスメトリックス(path-metrics)という用語で関数の新たなバウンダリを証明した。 これは、ResNets、VGGs、U-netsなど、現代のネットワークに広く適用される最初の境界である。
• 参考スコア（独自算出の注目度）: 13.894485461969772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analyzing the behavior of ReLU neural networks often hinges on understanding the relationships between their parameters and the functions they implement. This paper proves a new bound on function distances in terms of the so-called path-metrics of the parameters. Since this bound is intrinsically invariant with respect to the rescaling symmetries of the networks, it sharpens previously known bounds. It is also, to the best of our knowledge, the first bound of its kind that is broadly applicable to modern networks such as ResNets, VGGs, U-nets, and many more. In contexts such as network pruning and quantization, the proposed path-metrics can be efficiently computed using only two forward passes. Besides its intrinsic theoretical interest, the bound yields not only novel theoretical generalization bounds, but also a promising proof of concept for rescaling-invariant pruning.
• Abstract（参考訳）: ReLUニューラルネットワークの振る舞いを分析することは、しばしば、パラメータと実装する関数の関係を理解することに集中する。 本稿では,パラメータのパスメトリックス(path-metrics)という用語で関数距離の新たな境界を証明した。 この境界は、ネットワークの再スケーリング対称性に関して本質的に不変であるため、既知境界を鋭くする。 また、私たちの知る限りでは、ResNets、VGGs、U-netsなど、現代のネットワークに広く適用可能な、この種の最初の境界でもある。 ネットワークプルーニングや量子化のようなコンテキストでは、提案したパスメトリックは2つのフォワードパスのみを用いて効率的に計算できる。 その本質的な理論的関心に加えて、有界は新しい理論的一般化境界だけでなく、再スケーリング不変プルーニングの概念の有望な証明でもある。

関連論文リスト

• Metric Convolutions: A Unifying Theory to Adaptive Convolutions [3.481985817302898]
  メトリック畳み込みは、画像処理とディープラーニングにおける標準的な畳み込みを置き換える。 パラメータを少なくし、より良い一般化を提供する。 提案手法は,標準的な分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2024-06-08T08:41:12Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Geometry-induced Implicit Regularization in Deep ReLU Neural Networks [0.0]
  暗黙の正則化現象は、まだよく理解されていないが、最適化中に起こる。 パラメータの異なる出力集合の幾何について検討する。 バッチ関数次元は隠蔽層内の活性化パターンによってほぼ確実に決定されることを示す。
  論文  参考訳（メタデータ） (2024-02-13T07:49:57Z)
• A Lifted Bregman Formulation for the Inversion of Deep Neural Networks [28.03724379169264]
  本稿では,ディープニューラルネットワークの正規化インバージョンのための新しいフレームワークを提案する。 このフレームワークは、補助変数を導入することにより、パラメータ空間を高次元空間に引き上げる。 理論的結果を提示し,その実用的応用を数値的な例で支援する。
  論文  参考訳（メタデータ） (2023-03-01T20:30:22Z)
• Sharper analysis of sparsely activated wide neural networks with trainable biases [103.85569570164404]
  本研究は,ニューラル・タンジェント・カーネル(NTK)の勾配勾配による一層超過パラメータ化ReLUネットワークのトレーニング研究である。 驚くべきことに、スパシフィケーション後のネットワークは、元のネットワークと同じくらい高速に収束できることが示されている。 一般化境界は制限NTKの最小固有値に依存するため、この研究は制限NTKの最小固有値をさらに研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• A Pairwise Connected Tensor Network Representation of Path Integrals [0.0]
  ファインマン・ヴァーノン関数を含む実時間経路積分のテンソル的性質をどのように活用できるかが最近示されている。 ここでは、一般化テンソルネットワークを導出し、影響関数の対相互作用構造を具体化して実装する。 この対接続テンソルネットワークパス積分(PCTNPI)は、典型的なスピンボソン問題への応用とスペクトル密度の正確な形に起因する差の探索を通じて説明される。
  論文  参考訳（メタデータ） (2021-06-28T18:30:17Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Deep connections between learning from limited labels & physical parameter estimation -- inspiration for regularization [0.0]
  PDE制約最適化におけるモデルパラメータの明示的な正規化は、ネットワーク出力の正規化に変換されることを示す。 ハイパースペクトルイメージングの例は、最適正規化パラメータのクロスバリデーションと共に最小の事前情報がセグメンテーション精度を高めることを示している。
  論文  参考訳（メタデータ） (2020-03-17T19:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。