Fugu-MT 論文翻訳(概要): On the Landscape of One-hidden-layer Sparse Networks and Beyond

論文の概要: On the Landscape of One-hidden-layer Sparse Networks and Beyond

arxiv url: http://arxiv.org/abs/2009.07439v4
Date: Tue, 17 May 2022 09:00:56 GMT
ステータス: 処理完了
システム内更新日: 2022-10-17 23:10:38.006796
Title: On the Landscape of One-hidden-layer Sparse Networks and Beyond
Title（参考訳）: 一層スパークネットワークの景観とそれを超えて
Authors: Dachao Lin, Ruoyu Sun, Zhihua Zhang
Abstract要約: 本研究では,一層スパルスネットワークの損失状況について検討する。線形ネットワークは特別なスパース構造の下では突発的な谷を持たないことを示す。
参考スコア（独自算出の注目度）: 27.54558648573683
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sparse neural networks have received increasing interest due to their small size compared to dense networks. Nevertheless, most existing works on neural network theory have focused on dense neural networks, and the understanding of sparse networks is very limited. In this paper, we study the loss landscape of one-hidden-layer sparse networks. First, we consider sparse networks with a dense final layer. We show that linear networks can have no spurious valleys under special sparse structures, and non-linear networks could also admit no spurious valleys under a wide final layer. Second, we discover that spurious valleys and spurious minima can exist for wide sparse networks with a sparse final layer. This is different from wide dense networks which do not have spurious valleys under mild assumptions.
Abstract（参考訳）: 疎いニューラルネットワークは、密度の高いネットワークに比べて小さなサイズのため、関心が増している。それでも、ニューラルネットワーク理論に関する既存の研究のほとんどは、高密度ニューラルネットワークに焦点を当てており、スパースネットワークの理解は非常に限られている。本稿では,単層分散ネットワークの損失景観について検討する。まず、密度の高い最終層を持つスパースネットワークを考える。線形ネットワークは,特別なスパース構造下ではスプリアス谷を有しず,非線形ネットワークは広い最終層下のスプリアス谷も認めないことを示した。第2に, 粗い最終層を有する広い疎ネットワークに対して, 急激な谷と急激なミニマが存在することを発見した。これは、緩やかな仮定の下で急な谷を持たない広い密度のネットワークとは異なる。

関連論文リスト

SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
論文参考訳（メタデータ） (2022-05-31T15:55:37Z)
The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文参考訳（メタデータ） (2022-02-05T21:19:41Z)
Identifying Class Specific Filters with L1 Norm Frequency Histograms in Deep CNNs [1.1278903078792917]
我々はDeep Convolutional Networksの最終層と最後層を分析した。クラスに対するネットワークの決定に最も寄与する機能のサブセットを特定します。
論文参考訳（メタデータ） (2021-12-14T19:40:55Z)
Adversarial Examples in Multi-Layer Random ReLU Networks [39.797621513256026]
逆例は独立したガウスパラメータを持つReLUネットワークに現れる。ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
論文参考訳（メタデータ） (2021-06-23T18:16:34Z)
Layer Folding: Neural Network Depth Reduction using Activation Linearization [0.0]
現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
論文参考訳（メタデータ） (2021-06-17T08:22:46Z)
Asymptotics of representation learning in finite Bayesian neural networks [19.809493085603673]
有限ネットワークの学習された隠蔽層表現は無限ネットワークの固定表現と異なることを示す。その結果,ベイジアンニューラルネットワークがどの特徴を表現できるかを解明し始めた。
論文参考訳（メタデータ） (2021-06-01T17:30:30Z)
Full network nonlocality [68.8204255655161]
ネットワーク内のすべてのリンクが非ローカルリソースを分散するために必要となる相関関係を記述した完全ネットワーク非ローカル性の概念を導入する。最もよく知られているネットワークベル試験では,ネットワークの非局所性は見られていない。より一般に、ネットワーク内の局所的および理論に依存しない相関を解析するための確立された手法は、完全なネットワーク非局所性のための十分な条件を導出するために組み合わせることができると指摘する。
論文参考訳（メタデータ） (2021-05-19T18:00:02Z)
Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
論文参考訳（メタデータ） (2021-03-05T08:45:43Z)
Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
論文参考訳（メタデータ） (2020-07-07T07:45:34Z)
ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文参考訳（メタデータ） (2020-06-28T23:09:27Z)
Piecewise linear activations substantially shape the loss surfaces of neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文参考訳（メタデータ） (2020-03-27T04:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。