Fugu-MT 論文翻訳(概要): Complex Critical Points of Deep Linear Neural Networks

論文の概要: Complex Critical Points of Deep Linear Neural Networks

arxiv url: http://arxiv.org/abs/2301.12651v1
Date: Mon, 30 Jan 2023 04:16:49 GMT
ステータス: 処理完了
システム内更新日: 2023-01-31 15:44:44.662634
Title: Complex Critical Points of Deep Linear Neural Networks
Title（参考訳）: ディープ線形ニューラルネットワークの複雑な臨界点
Authors: Ayush Bharadwaj and Serkan Ho\c{s}ten
Abstract要約: 単一のデータポイントでトレーニングされた単一の隠れレイヤを持つネットワークでは、損失関数の複雑な臨界点の数に改善されたバウンダリを与える。任意の数の隠蔽層において、座標がゼロの複素臨界点が特定のパターンに出現し、1つの隠蔽層を持つネットワークに対して完全に分類されることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We extend the work of Mehta, Chen, Tang, and Hauenstein on computing the complex critical points of the loss function of deep linear neutral networks when the activation function is the identity function. For networks with a single hidden layer trained on a single data point we give an improved bound on the number of complex critical points of the loss function. We show that for any number of hidden layers complex critical points with zero coordinates arise in certain patterns which we completely classify for networks with one hidden layer. We report our results of computational experiments with varying network architectures defining small deep linear networks using HomotopyContinuation.jl.
Abstract（参考訳）: 我々は、活性化関数が恒等関数であるときの深い線形中立ネットワークの損失関数の複素臨界点の計算について、Mehta, Chen, Tang, Hauenstein の業績を拡張した。単一のデータポイントでトレーニングされた単一の隠れレイヤを持つネットワークでは、損失関数の複雑な臨界点の数に改善されたバウンダリを与える。任意の数の隠れた層に対して、座標がゼロな複素臨界点が、隠れた層が1つあるネットワークを完全に分類する特定のパターンに現れることを示す。我々は,HomotopyContinuation.jlを用いて,小さな深層線形ネットワークを定義する様々なネットワークアーキテクチャを用いた計算実験の結果を報告する。

関連論文リスト

Function Space and Critical Points of Linear Convolutional Networks [4.483341215742946]
一次元畳み込み層を有する線形ネットワークの幾何学について検討する。我々は,ネットワークアーキテクチャが関数空間の次元,境界,特異点に与える影響を分析する。
論文参考訳（メタデータ） (2023-04-12T10:15:17Z)
Global Convergence Analysis of Deep Linear Networks with A One-neuron Layer [18.06634056613645]
2次損失下で1つのニューロンを持つ層を有するディープ線形ネットワークを最適化することを検討する。流下における任意の出発点を持つ軌道の収束点を記述する。我々は,大域勾配器に段階的に収束する軌道の収束率を示す。
論文参考訳（メタデータ） (2022-01-08T04:44:59Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Deep Networks Provably Classify Data on Curves [12.309532551321334]
本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。 i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
論文参考訳（メタデータ） (2021-07-29T20:40:04Z)
Learning distinct features helps, provably [98.78384185493624]
最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
論文参考訳（メタデータ） (2021-06-10T19:14:45Z)
Landscape analysis for shallow ReLU neural networks: complete classification of critical points for affine target functions [3.9103337761169947]
対象関数がアフィンである場合の臨界点の完全な分類を提供する。我々のアプローチは、reluニューラルネットワークで起こりうる様々な種類の隠れたニューロンを注意深く分析することに基づいている。
論文参考訳（メタデータ） (2021-03-19T17:35:01Z)
Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文参考訳（メタデータ） (2020-12-31T18:53:25Z)
Deep Positional and Relational Feature Learning for Rotation-Invariant Point Cloud Analysis [107.9979381402172]
点雲解析のための回転不変深層ネットワークを提案する。ネットワークは階層的であり、位置的特徴埋め込みブロックと関係的特徴埋め込みブロックという2つのモジュールに依存している。実験では、ベンチマークデータセット上で最先端の分類とセグメンテーション性能を示す。
論文参考訳（メタデータ） (2020-11-18T04:16:51Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文参考訳（メタデータ） (2020-03-27T04:59:34Z)
Ill-Posedness and Optimization Geometry for Nonlinear Neural Network Training [4.7210697296108926]
ネットワーク構築における非線形活性化関数は、損失景観の定常点の分類において重要な役割を担っていることを示す。浅密度ネットワークの場合、非線形活性化関数は大域ミニマ近傍のヘッセンヌル空間を決定する。これらの結果を高密度ニューラルネットワークに拡張することにより、最終活性化関数が定常点の分類において重要な役割を果たすことを示す。
論文参考訳（メタデータ） (2020-02-07T16:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。