Fugu-MT 論文翻訳(概要): Exact Solutions of a Deep Linear Network

論文の概要: Exact Solutions of a Deep Linear Network

arxiv url: http://arxiv.org/abs/2202.04777v1
Date: Thu, 10 Feb 2022 00:13:34 GMT
ステータス: 処理完了
システム内更新日: 2022-02-11 14:37:58.081577
Title: Exact Solutions of a Deep Linear Network
Title（参考訳）: ディープリニアネットワークの厳密解
Authors: Liu Ziyin, Botao Li, Xiangming Meng
Abstract要約: この研究は、重崩壊とニューロンを持つ深い線形ネットワークの正確な解を見つける。この結果から,重み減衰はモデルアーキテクチャと強く相互作用し,1ドル以上の隠蔽層を持つネットワークにおいて悪いミニマを発生させる可能性が示唆された。
参考スコア（独自算出の注目度）: 2.2344764434954256
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work finds the exact solutions to a deep linear network with weight decay and stochastic neurons, a fundamental model for understanding the landscape of neural networks. Our result implies that weight decay strongly interacts with the model architecture and can create bad minima in a network with more than $1$ hidden layer, qualitatively different for a network with only $1$ hidden layer. As an application, we also analyze stochastic nets and show that their prediction variance vanishes to zero as the stochasticity, the width, or the depth tends to infinity.
Abstract（参考訳）: この研究は、ニューラルネットワークのランドスケープを理解する基本的なモデルである、重みの減衰と確率的ニューロンを持つ深い線形ネットワークの厳密な解を見つける。その結果、重み減衰はモデルアーキテクチャと強く相互作用し、1ドル以上の隠蔽層を持つネットワークでは悪いミニマを生成でき、わずか1ドルで隠蔽層を持つネットワークでは定性的に異なることが示唆された。応用例として,確率ネットの解析を行い,確率性,幅,深さが無限大になるにつれてその予測分散がゼロに減少することを示した。

関連論文リスト

Demystifying Lazy Training of Neural Networks from a Macroscopic Viewpoint [5.9954962391837885]
ニューラルネットワークの勾配勾配勾配ダイナミクスをマクロ的限界レンズを用いて検討する。我々の研究は、勾配降下がディープニューラルネットワークを高速でトレーニング損失ゼロに駆動できることを明らかにした。我々のアプローチは、Neural Tangent Kernel(NTK)パラダイムからインスピレーションを得ている。
論文参考訳（メタデータ） (2024-04-07T08:07:02Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-07-18T05:39:32Z)
When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文参考訳（メタデータ） (2023-04-29T11:46:53Z)
FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文参考訳（メタデータ） (2022-04-09T16:41:53Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文参考訳（メタデータ） (2020-12-31T18:53:25Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文参考訳（メタデータ） (2020-03-27T04:59:34Z)
Approximation smooth and sparse functions by deep neural networks without saturation [0.6396288020763143]
本稿では,スムーズかつスパースな関数を近似するために,3つの層を隠蔽したディープニューラルネットワークを構築することを目的とする。構成したディープネットは, 滑らかかつスパースな関数を制御可能な自由パラメータで近似することで, 最適近似率に達することを証明した。
論文参考訳（メタデータ） (2020-01-13T09:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。