論文の概要: Random weights of DNNs and emergence of fixed points

• arxiv url: http://arxiv.org/abs/2501.04182v2
• Date: Mon, 07 Jul 2025 13:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.185085
• Title: Random weights of DNNs and emergence of fixed points
• Title（参考訳）: DNNのランダム重みと固定点の出現
• Authors: L. Berlyand, O. Krupchytskyi, V. Slavin,
• Abstract要約: 本稿では,入力と出力が同じ次元を持つディープニューラルネットワーク(DNN)の特殊なクラスについて述べる。 そのようなネットワークのトレーニングは、その固定点(FP)によって特徴づけられる。 我々は、重みと軽い尾の分布を持つi.d.ランダムウェイトを考える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is concerned with a special class of deep neural networks (DNNs) where the input and the output vectors have the same dimension. Such DNNs are widely used in applications, e.g., autoencoders. The training of such networks can be characterized by their fixed points (FPs). We are concerned with the dependence of the FPs number and their stability on the distribution of randomly initialized DNNs' weight matrices. Specifically, we consider the i.i.d. random weights with heavy and light-tail distributions. Our objectives are twofold. First, the dependence of FPs number and stability of FPs on the type of the distribution tail. Second, the dependence of the number of FPs on the DNNs' architecture. We perform extensive simulations and show that for light tails (e.g., Gaussian), which are typically used for initialization, a single stable FP exists for broad types of architectures. In contrast, for heavy tail distributions (e.g., Cauchy), which typically appear in trained DNNs, a number of FPs emerge. We further observe that these FPs are stable attractors and their basins of attraction partition the domain of input vectors. Finally, we observe an intriguing non-monotone dependence of the number of fixed points $Q(L)$ on the DNNs' depth $L$. The above results were first obtained for untrained DNNs with two types of distributions at initialization and then verified by considering DNNs in which the heavy tail distributions arise in training.
• Abstract（参考訳）: 本稿では,入力ベクトルと出力ベクトルが同じ次元を持つ,ディープニューラルネットワーク(DNN)の特殊なクラスについて述べる。 このようなDNNは、例えばオートエンコーダのようなアプリケーションで広く使われている。 このようなネットワークのトレーニングは、その固定点(FP)によって特徴づけられる。 ランダム初期化DNNの重み行列の分布に対するFPs数と安定性の依存性について検討する。 具体的には、重みと軽い尾の分布を持つi.d.ランダムウェイトを考える。 私たちの目標は2つある。 第一に、FPs数とFPsの安定性が分布尾の型に依存する。 第二に、DNNのアーキテクチャに対するFPの数に依存している。 広範にシミュレーションを行い、典型的には初期化に使用される光尾(例えばガウス)に対して、幅広い種類のアーキテクチャに対して単一の安定なFPが存在することを示す。 対照的に、訓練されたDNNに通常現れる重い尾の分布(例:Cauchy)については、多くのFPが出現する。 さらに、これらのFPは安定なアトラクタであり、アトラクションの盆地は入力ベクトルの領域を分割する。 最後に、DNNの深さ$L$上の固定点数$Q(L)$の非単調な依存を観察する。 以上の結果は,初期化時に2種類の分布を持つ未訓練DNNに対して最初に得られ,訓練時に重み分布が発生するDNNを考慮し検証した。

関連論文リスト

• Statistical Properties of Deep Neural Networks with Dependent Data [0.0]
  本稿では, ディープニューラルネットワーク (DNN) 推定器の統計特性について, 従属データに基づく検討を行った。 このフレームワークは、他のDNNアーキテクチャや時系列アプリケーションの研究の可能性も提供する。
  論文  参考訳（メタデータ） (2024-10-14T21:46:57Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Role of Locality and Weight Sharing in Image-Based Tasks: A Sample Complexity Separation between CNNs, LCNs, and FCNs [42.551773746803946]
  視覚タスクは局所性と翻訳不変性の特性によって特徴づけられる。 これらのタスクにおける畳み込みニューラルネットワーク(CNN)の優れた性能は、そのアーキテクチャに埋め込まれた局所性や重み付けの帰納的バイアスに起因する。 CNNにおけるこれらのバイアスの統計的利点を、局所連結ニューラルネットワーク(LCN)と完全連結ニューラルネットワーク(FCN)で定量化しようとする試みは、以下のカテゴリに分類される。
  論文  参考訳（メタデータ） (2024-03-23T03:57:28Z)
• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Generalization and Stability of Interpolating Neural Networks with Minimal Width [37.908159361149835]
  補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。 トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。 m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
  論文  参考訳（メタデータ） (2023-02-18T05:06:15Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• A Tale of Two Cities: Data and Configuration Variances in Robust Deep Learning [27.498927971861068]
  ディープニューラルネットワーク(DNN)は、画像認識、サプライチェーン、診断、自律運転など、多くの産業で広く利用されている。 これまでの研究では、入力データと外部環境が常に変化しているため、DNNモデルの高精度さは、高いロバスト性を示すものではなかった。
  論文  参考訳（メタデータ） (2022-11-18T03:32:53Z)
• Neural Networks Efficiently Learn Low-Dimensional Representations with SGD [22.703825902761405]
  SGDで訓練されたReLU NNは、主方向を回復することで、$y=f(langleboldsymbolu,boldsymbolxrangle) + epsilon$という形の単一インデックスターゲットを学習できることを示す。 また、SGDによる近似低ランク構造を用いて、NNに対して圧縮保証を提供する。
  論文  参考訳（メタデータ） (2022-09-29T15:29:10Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• Training Stable Graph Neural Networks Through Constrained Learning [116.03137405192356]
  グラフニューラルネットワーク(GNN)は、ネットワークデータから機能を学ぶためにグラフ畳み込みに依存する。 GNNは、グラフフィルタから受け継いだ特性である、基礎となるグラフの様々な種類の摂動に対して安定である。 本稿では,GNNの安定条件に制約を課すことにより,新たな制約付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-10-07T15:54:42Z)
• Disentangling deep neural networks with rectified linear units using duality [4.683806391173103]
  線形整流ユニット(ReLU)を用いたディープニューラルネットワーク(DNN)の解釈可能な新しい実装を提案する。 我々は、大域プールとスキップ接続との畳み込みが、それぞれ回転不変性とアンサンブル構造をニューラルパスカーネル(NPK)にもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:51:59Z)
• Generalizing Neural Networks by Reflecting Deviating Data in Production [15.498447555957773]
  本稿では,DNNに対する予期せぬ実行時入力によるDNNの誤予測を緩和する実行時アプローチを提案する。 我々は,シームズネットワークが学習した距離測定値に基づく分布解析器を用いて,意味的に保存されていない入力を識別する。 我々のアプローチは、これらの予期せぬ入力を、類似のセマンティクスを持つと認識されるトレーニングセットから入力に変換する。
  論文  参考訳（メタデータ） (2021-10-06T13:05:45Z)
• Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training data [52.771780951404565]
  Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。 SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
  論文  参考訳（メタデータ） (2021-08-02T18:00:38Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• PDO-e$\ ext{S}^\ ext{2}$CNNs: Partial Differential Operator Based Equivariant Spherical CNNs [77.53203546732664]
  我々は偏微分演算子を用いて球等価CNN, PDO-e$textStext2$CNNを設計する。 実験では、pdo-e$textstext2$cnnsはパラメータ効率が高く、いくつかのタスクで他の球面cnnを大きく上回る。
  論文  参考訳（メタデータ） (2021-04-08T07:54:50Z)
• Approximating smooth functions by deep neural networks with sigmoid activation function [0.0]
  我々は,シグモイド活性化機能を持つディープニューラルネットワーク(DNN)のパワーについて検討した。 固定深度と幅が$Md$で近似レートが$M-2p$であることを示す。
  論文  参考訳（メタデータ） (2020-10-08T07:29:31Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。