Fugu-MT 論文翻訳(概要): How You Start Matters for Generalization

論文の概要: How You Start Matters for Generalization

arxiv url: http://arxiv.org/abs/2206.08558v1
Date: Fri, 17 Jun 2022 05:30:56 GMT
ステータス: 処理完了
システム内更新日: 2022-06-20 14:34:29.432298
Title: How You Start Matters for Generalization
Title（参考訳）: 一般化のためにどう始めるか
Authors: Sameera Ramasinghe, Lachlan MacDonald, Moshiur Farazi, Hemanth Sartachandran, Simon Lucey
Abstract要約: ニューラルネットワークの一般化は、その初期化に強く結びついていることが示される。議論を呼んでいるフラットミニマ予想に反論する。
参考スコア（独自算出の注目度）: 26.74340246715699
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Characterizing the remarkable generalization properties of over-parameterized neural networks remains an open problem. In this paper, we promote a shift of focus towards initialization rather than neural architecture or (stochastic) gradient descent to explain this implicit regularization. Through a Fourier lens, we derive a general result for the spectral bias of neural networks and show that the generalization of neural networks is heavily tied to their initialization. Further, we empirically solidify the developed theoretical insights using practical, deep networks. Finally, we make a case against the controversial flat-minima conjecture and show that Fourier analysis grants a more reliable framework for understanding the generalization of neural networks.
Abstract（参考訳）: 過パラメータニューラルネットワークの顕著な一般化特性を特徴付けることは、まだ未解決の問題である。本稿では,この暗黙の正規化を説明するために,ニューラルネットワークや(確率的な)勾配降下よりも初期化に焦点を移すことを促進する。フーリエレンズを用いて、ニューラルネットワークのスペクトルバイアスに関する一般的な結果を導出し、ニューラルネットワークの一般化がその初期化に強く結びついていることを示す。さらに,実用的深層ネットワークを用いた理論的洞察を実証的に確立した。最後に、議論を呼んでいるフラットミニマ予想に反論し、フーリエ解析がニューラルネットワークの一般化を理解するためのより信頼性の高い枠組みを与えることを示した。

関連論文リスト

Understanding Deep Learning via Notions of Rank [5.439020425819001]
この論文は、ディープラーニングの理論を発展させる鍵としてランクの概念を提唱している。特に、勾配に基づくトレーニングは、いくつかのニューラルネットワークアーキテクチャにおいて、低ランクに対する暗黙の正規化を誘導できると確認する。明示的な正規化スキームとデータ前処理アルゴリズムを設計するための我々の理論の実践的意味を述べる。
論文参考訳（メタデータ） (2024-08-04T18:47:55Z)
Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize [5.642322814965062]
分散シフトの下で一般化される学習表現は、堅牢な機械学習モデルを構築する上で重要である。ニューラルネットワークを教師ネットワークから得られる表現に明示的に適合させることさえ、学生ネットワークの一般化には不十分であることを示す。
論文参考訳（メタデータ） (2024-06-05T15:04:27Z)
Efficient Learning Using Spiking Neural Networks Equipped With Affine Encoders and Decoders [2.255961793913651]
スパイクニューラルネットワークに関連する学習問題について検討する。アフィン時間エンコーダとデコーダと正のシナプス重みしか持たない単純なスパイキングニューロンによるスパイキングニューラルネットワークの仮説セットを考察する。
論文参考訳（メタデータ） (2024-04-06T08:17:07Z)
A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文参考訳（メタデータ） (2023-05-16T20:06:01Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural Networks [13.518582483147325]
本稿では,トランスダクティブ推論の文脈におけるニューラルネットワークの性能を厳密に分析する。本稿では, ブロックモデルに対するグラフ畳み込みネットワークの一般化特性について, トランスダクティブなRademacher複雑性が説明できることを示す。
論文参考訳（メタデータ） (2021-12-07T20:06:23Z)
Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文参考訳（メタデータ） (2021-03-03T06:17:03Z)
Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文参考訳（メタデータ） (2020-07-11T18:19:50Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。