論文の概要: Training invariances and the low-rank phenomenon: beyond linear networks

• arxiv url: http://arxiv.org/abs/2201.11968v1
• Date: Fri, 28 Jan 2022 07:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 01:57:12.733095
• Title: Training invariances and the low-rank phenomenon: beyond linear networks
• Title（参考訳）: 訓練不変性と低ランク現象--線形ネットワークを超えて
• Authors: Thien Le, Stefanie Jegelka
• Abstract要約: 線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。 非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。 我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
• 参考スコア（独自算出の注目度）: 44.02161831977037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The implicit bias induced by the training of neural networks has become a topic of rigorous study. In the limit of gradient flow and gradient descent with appropriate step size, it has been shown that when one trains a deep linear network with logistic or exponential loss on linearly separable data, the weights converge to rank-$1$ matrices. In this paper, we extend this theoretical result to the much wider class of nonlinear ReLU-activated feedforward networks containing fully-connected layers and skip connections. To the best of our knowledge, this is the first time a low-rank phenomenon is proven rigorously for these architectures, and it reflects empirical results in the literature. The proof relies on specific local training invariances, sometimes referred to as alignment, which we show to hold for a wide set of ReLU architectures. Our proof relies on a specific decomposition of the network into a multilinear function and another ReLU network whose weights are constant under a certain parameter directional convergence.
• Abstract（参考訳）: ニューラルネットワークのトレーニングによって引き起こされる暗黙のバイアスは、厳密な研究の対象となっている。 勾配流の限界と適切なステップサイズでの勾配降下では、線形分離可能なデータ上で対数的あるいは指数的損失を持つ深い線形ネットワークを訓練すると、重みはランク1ドルの行列に収束することが示されている。 本稿では、この理論結果を、完全に接続された層とスキップ接続を含むより広範な非線形ReLU活性化フィードフォワードネットワークに拡張する。 私たちの知る限りでは、これらのアーキテクチャで低ランクな現象が厳格に証明されたのはこれが初めてであり、文学における実証的な結果を反映している。 この証明は、特定の局所的なトレーニング不変性に依存しており、これはアライメントと呼ばれることがある。 我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数とReLUネットワークへのネットワークの特定の分解に依存している。

関連論文リスト

• Minimum-Norm Interpolation Under Covariate Shift [14.863831433459902]
  高次元線形回帰に関する非分布研究は、テキシトベニンオーバーフィッティング(textitbenign overfitting)として知られる現象の同定につながった。 本稿では,移動学習環境における線形補間器の非漸近的過剰リスク境界を初めて証明する。
  論文  参考訳（メタデータ） (2024-03-31T01:41:57Z)
• Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
  本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。 その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
  論文  参考訳（メタデータ） (2023-11-24T18:46:54Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks [7.090165638014331]
  一定の層幅とスムーズな活性化関数を持つ深層残留ネットワークのトレーニングにおいて,勾配勾配の線形収束性を大域最小限に証明する。 トレーニングされた重みは、層指数の関数として、ネットワークの深さが無限大になる傾向にあるため、H"古い"スケーリング制限が連続であることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:50:28Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Over-parametrized neural networks as under-determined linear systems [31.69089186688224]
  単純なニューラルネットワークがトレーニング損失をゼロにできるのは当然のことだ。 ReLUアクティベーション関数に典型的に関連付けられたカーネルには、根本的な欠陥があることが示される。 本稿では,ReLUの落とし穴を避けるための新たなアクティベーション関数を提案する。
  論文  参考訳（メタデータ） (2020-10-29T21:43:00Z)
• Directional convergence and alignment in deep learning [38.73942298289583]
  交差エントロピーと関連する分類損失の最小化は無限大であるが, ネットワーク重みは勾配流により方向収束することを示した。 この証明は、ReLU、最大プール、線形および畳み込み層を許容する深い均質ネットワークに対して成り立つ。
  論文  参考訳（メタデータ） (2020-06-11T17:50:11Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。