論文の概要: Random weights of DNNs and emergence of fixed points

• arxiv url: http://arxiv.org/abs/2501.04182v2
• Date: Mon, 07 Jul 2025 13:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.185085
• Title: Random weights of DNNs and emergence of fixed points
• Title（参考訳）: DNNのランダム重みと固定点の出現
• Authors: L. Berlyand, O. Krupchytskyi, V. Slavin,
• Abstract要約: 本稿では,入力と出力が同じ次元を持つディープニューラルネットワーク(DNN)の特殊なクラスについて述べる。 そのようなネットワークのトレーニングは、その固定点(FP)によって特徴づけられる。 我々は、重みと軽い尾の分布を持つi.d.ランダムウェイトを考える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is concerned with a special class of deep neural networks (DNNs) where the input and the output vectors have the same dimension. Such DNNs are widely used in applications, e.g., autoencoders. The training of such networks can be characterized by their fixed points (FPs). We are concerned with the dependence of the FPs number and their stability on the distribution of randomly initialized DNNs' weight matrices. Specifically, we consider the i.i.d. random weights with heavy and light-tail distributions. Our objectives are twofold. First, the dependence of FPs number and stability of FPs on the type of the distribution tail. Second, the dependence of the number of FPs on the DNNs' architecture. We perform extensive simulations and show that for light tails (e.g., Gaussian), which are typically used for initialization, a single stable FP exists for broad types of architectures. In contrast, for heavy tail distributions (e.g., Cauchy), which typically appear in trained DNNs, a number of FPs emerge. We further observe that these FPs are stable attractors and their basins of attraction partition the domain of input vectors. Finally, we observe an intriguing non-monotone dependence of the number of fixed points $Q(L)$ on the DNNs' depth $L$. The above results were first obtained for untrained DNNs with two types of distributions at initialization and then verified by considering DNNs in which the heavy tail distributions arise in training.
• Abstract（参考訳）: 本稿では,入力ベクトルと出力ベクトルが同じ次元を持つ,ディープニューラルネットワーク(DNN)の特殊なクラスについて述べる。 このようなDNNは、例えばオートエンコーダのようなアプリケーションで広く使われている。 このようなネットワークのトレーニングは、その固定点(FP)によって特徴づけられる。 ランダム初期化DNNの重み行列の分布に対するFPs数と安定性の依存性について検討する。 具体的には、重みと軽い尾の分布を持つi.d.ランダムウェイトを考える。 私たちの目標は2つある。 第一に、FPs数とFPsの安定性が分布尾の型に依存する。 第二に、DNNのアーキテクチャに対するFPの数に依存している。 広範にシミュレーションを行い、典型的には初期化に使用される光尾(例えばガウス)に対して、幅広い種類のアーキテクチャに対して単一の安定なFPが存在することを示す。 対照的に、訓練されたDNNに通常現れる重い尾の分布(例:Cauchy)については、多くのFPが出現する。 さらに、これらのFPは安定なアトラクタであり、アトラクションの盆地は入力ベクトルの領域を分割する。 最後に、DNNの深さ$L$上の固定点数$Q(L)$の非単調な依存を観察する。 以上の結果は,初期化時に2種類の分布を持つ未訓練DNNに対して最初に得られ,訓練時に重み分布が発生するDNNを考慮し検証した。

関連論文リスト

• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Role of Locality and Weight Sharing in Image-Based Tasks: A Sample Complexity Separation between CNNs, LCNs, and FCNs [42.551773746803946]
  視覚タスクは局所性と翻訳不変性の特性によって特徴づけられる。 これらのタスクにおける畳み込みニューラルネットワーク(CNN)の優れた性能は、そのアーキテクチャに埋め込まれた局所性や重み付けの帰納的バイアスに起因する。 CNNにおけるこれらのバイアスの統計的利点を、局所連結ニューラルネットワーク(LCN)と完全連結ニューラルネットワーク(FCN)で定量化しようとする試みは、以下のカテゴリに分類される。
  論文  参考訳（メタデータ） (2024-03-23T03:57:28Z)
• Generalization and Stability of Interpolating Neural Networks with Minimal Width [37.908159361149835]
  補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。 トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。 m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
  論文  参考訳（メタデータ） (2023-02-18T05:06:15Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Neural Networks Efficiently Learn Low-Dimensional Representations with SGD [22.703825902761405]
  SGDで訓練されたReLU NNは、主方向を回復することで、$y=f(langleboldsymbolu,boldsymbolxrangle) + epsilon$という形の単一インデックスターゲットを学習できることを示す。 また、SGDによる近似低ランク構造を用いて、NNに対して圧縮保証を提供する。
  論文  参考訳（メタデータ） (2022-09-29T15:29:10Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Approximating smooth functions by deep neural networks with sigmoid activation function [0.0]
  我々は,シグモイド活性化機能を持つディープニューラルネットワーク(DNN)のパワーについて検討した。 固定深度と幅が$Md$で近似レートが$M-2p$であることを示す。
  論文  参考訳（メタデータ） (2020-10-08T07:29:31Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。