論文の概要: Disentangle Sample Size and Initialization Effect on Perfect Generalization for Single-Neuron Target
- arxiv url: http://arxiv.org/abs/2405.13787v1
- Date: Wed, 22 May 2024 16:12:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 23:15:30.237265
- Title: Disentangle Sample Size and Initialization Effect on Perfect Generalization for Single-Neuron Target
- Title（参考訳）: 単一核ターゲットの完全一般化における遠方サンプルサイズと初期化効果
- Authors: Jiajie Zhao, Zhiwei Bai, Yaoyu Zhang,
- Abstract要約: 2層ニューラルネットワークにおける単一ニューロンターゲットリカバリシナリオに着目した。
実験の結果,より小さなスケールが一般化に結びついていることが判明した。
この結果から,対象関数の回復能力の推移が示唆された。
- 参考スコア（独自算出の注目度）: 2.8948274245812335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Overparameterized models like deep neural networks have the intriguing ability to recover target functions with fewer sampled data points than parameters (see arXiv:2307.08921). To gain insights into this phenomenon, we concentrate on a single-neuron target recovery scenario, offering a systematic examination of how initialization and sample size influence the performance of two-layer neural networks. Our experiments reveal that a smaller initialization scale is associated with improved generalization, and we identify a critical quantity called the "initial imbalance ratio" that governs training dynamics and generalization under small initialization, supported by theoretical proofs. Additionally, we empirically delineate two critical thresholds in sample size--termed the "optimistic sample size" and the "separation sample size"--that align with the theoretical frameworks established by (see arXiv:2307.08921 and arXiv:2309.00508). Our results indicate a transition in the model's ability to recover the target function: below the optimistic sample size, recovery is unattainable; at the optimistic sample size, recovery becomes attainable albeit with a set of initialization of zero measure. Upon reaching the separation sample size, the set of initialization that can successfully recover the target function shifts from zero to positive measure. These insights, derived from a simplified context, provide a perspective on the intricate yet decipherable complexities of perfect generalization in overparameterized neural networks.
- Abstract（参考訳）: ディープニューラルネットワークのような過パラメータ化モデルは、パラメータよりもサンプルデータポイントが少ないターゲット関数を復元する興味深い能力を持っている(arXiv:2307.08921参照)。
この現象の洞察を得るために,我々は単一ニューロン目標回復シナリオに集中し,初期化とサンプルサイズが2層ニューラルネットワークの性能に与える影響を体系的に検証する。
実験により,より小さな初期化スケールが一般化の促進に結びついていることが明らかとなり,理論的な証明によって支持された,訓練力学と小初期化の下での一般化を規定する「初期不均衡比」と呼ばれる臨界量を特定した。
さらに「最適試料サイズ」と「分離試料サイズ」の2つの重要なしきい値を実証的に定式化した(arXiv:2307.08921およびarXiv:2309.00508参照)。
楽観的なサンプルサイズ以下では、リカバリは達成不可能であり、楽観的なサンプルサイズでは、ゼロ測度の初期化によって、リカバリは達成可能となる。
分離サンプルサイズに達すると、目標関数をうまく回復できる初期化の集合はゼロから正の測度にシフトする。
これらの洞察は、単純化された文脈から導き出されたもので、過パラメータ化されたニューラルネットワークにおける完全一般化の複雑だが解読可能な複雑さの観点を提供する。
関連論文リスト
- A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。
これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
論文 参考訳（メタデータ） (2024-06-06T01:52:09Z) - On the Impact of Overparameterization on the Training of a Shallow
Neural Network in High Dimensions [0.0]
本研究では,2次活性化関数と2次コストを持つ浅部ニューラルネットワークのトレーニングダイナミクスについて検討する。
同じニューラルアーキテクチャに関する以前の研究と並行して、集団リスクの勾配流に従って最適化を行う。
論文 参考訳（メタデータ） (2023-11-07T08:20:31Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2023-10-10T10:48:52Z) - Regularization, early-stopping and dreaming: a Hopfield-like setup to
address generalization and overfitting [0.0]
正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。
この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
論文 参考訳（メタデータ） (2023-08-01T15:04:30Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Early Stage Convergence and Global Convergence of Training Mildly
Parameterized Neural Networks [3.148524502470734]
トレーニングの初期段階において,損失はかなりの量減少し,この減少は急速に進行することを示す。
我々は、ニューロンの活性化パターンを顕微鏡で解析し、勾配のより強力な下界を導出するのに役立つ。
論文 参考訳（メタデータ） (2022-06-05T09:56:50Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Guiding Neural Network Initialization via Marginal Likelihood
Maximization [0.9137554315375919]
活性化関数と共分散関数を持つガウス過程モデルとニューラルネットワークの関係を利用して、超パラメータ値を推定する。
本実験では,mnist分類タスクにおいて限界一貫性が最適に近い予測性能をもたらすことを示唆する。
論文 参考訳（メタデータ） (2020-12-17T21:46:09Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - The Neural Tangent Kernel in High Dimensions: Triple Descent and a
Multi-Scale Theory of Generalization [34.235007566913396]
現代のディープラーニングモデルでは、トレーニングデータに適合するために必要なパラメータよりもはるかに多くのパラメータが採用されている。
この予期せぬ振る舞いを記述するための新たなパラダイムは、エンファンダブル降下曲線(英語版)である。
本稿では,勾配降下を伴う広帯域ニューラルネットワークの挙動を特徴付けるニューラル・タンジェント・カーネルを用いた一般化の高精度な高次元解析を行う。
論文 参考訳（メタデータ） (2020-08-15T20:55:40Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳（メタデータ） (2020-06-10T14:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。