論文の概要: Experiments on Properties of Hidden Structures of Sparse Neural Networks

• arxiv url: http://arxiv.org/abs/2107.12917v1
• Date: Tue, 27 Jul 2021 16:18:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 14:51:28.890229
• Title: Experiments on Properties of Hidden Structures of Sparse Neural Networks
• Title（参考訳）: スパースニューラルネットワークの隠れ構造に関する実験
• Authors: Julian Stier, Harshil Darji, Michael Granitzer
• Abstract要約: ニューラルネットワークの構造と性能の関係について,先行,刈り取り,学習中にどのように空間性を実現するかを示し,質問に回答する。 実験では, 圧縮と再学習を80%行うMNISTにおいて, 等級ブラインドプルーニングの精度が97.5%, 圧縮なしで0.5ポイント向上したことを示す。 さらに、Recurrent NetworksがReber文法を学習する際の性能予測では、構造情報のみを与えられた最大0.81ドルのR2$が示される。
• 参考スコア（独自算出の注目度）: 1.227734309612871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparsity in the structure of Neural Networks can lead to less energy consumption, less memory usage, faster computation times on convenient hardware, and automated machine learning. If sparsity gives rise to certain kinds of structure, it can explain automatically obtained features during learning. We provide insights into experiments in which we show how sparsity can be achieved through prior initialization, pruning, and during learning, and answer questions on the relationship between the structure of Neural Networks and their performance. This includes the first work of inducing priors from network theory into Recurrent Neural Networks and an architectural performance prediction during a Neural Architecture Search. Within our experiments, we show how magnitude class blinded pruning achieves 97.5% on MNIST with 80% compression and re-training, which is 0.5 points more than without compression, that magnitude class uniform pruning is significantly inferior to it and how a genetic search enhanced with performance prediction achieves 82.4% on CIFAR10. Further, performance prediction for Recurrent Networks learning the Reber grammar shows an $R^2$ of up to 0.81 given only structural information.
• Abstract（参考訳）: ニューラルネットワークの構造のばらつきは、エネルギー消費の削減、メモリ使用量の削減、便利なハードウェアでの計算時間の短縮、機械学習の自動化につながる。 スパーシティが特定の構造を引き起こす場合、学習中に自動的に得られる特徴を説明することができる。 我々は,事前初期化,プルーニング,学習によってスパーシティがいかに達成されるかを示す実験の洞察を与え,ニューラルネットワークの構造とその性能の関係に関する質問に答える。 これには、ネットワーク理論からリカレントニューラルネットワークへの先行性を誘導する最初の作業や、ニューラルネットワーク検索中のアーキテクチャパフォーマンス予測が含まれる。 実験では,MNISTでは80%の圧縮と再学習で97.5%,圧縮なしでは0.5ポイント,等級一様刈りはそれよりも有意に劣り,性能予測による遺伝的検索では82.4%がCIFAR10で達成された。 さらに、Recurrent NetworksでReber文法を学習する際の性能予測では、構造情報のみを与えられた最大0.81ドルのR^2$が示される。

関連論文リスト

• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Dynamical systems' based neural networks [0.7874708385247353]
  我々は、適切な、構造保存、数値的な時間分散を用いてニューラルネットワークを構築する。 ニューラルネットワークの構造は、ODEベクトル場の特性から推定される。 2つの普遍近似結果を示し、ニューラルネットワークに特定の特性を課す方法を示す。
  論文  参考訳（メタデータ） (2022-10-05T16:30:35Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network [0.0]
  近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。 ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。 プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
  論文  参考訳（メタデータ） (2021-12-15T16:02:15Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Memory capacity of neural networks with threshold and ReLU activations [2.5889737226898437]
  わずかに過度にパラメータ化されたニューラルネットワークは、トレーニングデータを100%の精度で記憶することができる。 この現象が一般的な多層パーセプトロンに対して成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-01-20T01:54:21Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。