論文の概要: Deconstructing the Structure of Sparse Neural Networks

• arxiv url: http://arxiv.org/abs/2012.00172v1
• Date: Mon, 30 Nov 2020 23:51:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 15:24:28.564634
• Title: Deconstructing the Structure of Sparse Neural Networks
• Title（参考訳）: スパースニューラルネットワークの構造を分解する
• Authors: Maxwell Van Gelder, Mitchell Wortsman, Kiana Ehsani
• Abstract要約: スパースニューラルネットワークの3つの一般的なアルゴリズムを解析する。 精度は構造のみから導き出すことができる。 最近の動的疎性アルゴリズムでは、構造体の訓練の初期段階がどれだけ早く現れるかを検討する。
• 参考スコア（独自算出の注目度）: 10.263858828363603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although sparse neural networks have been studied extensively, the focus has been primarily on accuracy. In this work, we focus instead on network structure, and analyze three popular algorithms. We first measure performance when structure persists and weights are reset to a different random initialization, thereby extending experiments in Deconstructing Lottery Tickets (Zhou et al., 2019). This experiment reveals that accuracy can be derived from structure alone. Second, to measure structural robustness we investigate the sensitivity of sparse neural networks to further pruning after training, finding a stark contrast between algorithms. Finally, for a recent dynamic sparsity algorithm we investigate how early in training the structure emerges. We find that even after one epoch the structure is mostly determined, allowing us to propose a more efficient algorithm which does not require dense gradients throughout training. In looking back at algorithms for sparse neural networks and analyzing their performance from a different lens, we uncover several interesting properties and promising directions for future research.
• Abstract（参考訳）: スパースニューラルネットワークは広く研究されているが、主に精度に焦点を当てている。 本研究では,ネットワーク構造に着目し,3つのアルゴリズムを解析する。 まず,構造が持続し,重みが異なるランダム初期化にリセットされた場合のパフォーマンスを測定し,宝くじを分解する実験を延長する(zhou et al., 2019)。 この実験により、精度は構造のみから得られることが明らかとなった。 第2に、構造的ロバスト性を測定するために、スパースニューラルネットワークの感度を調べ、トレーニング後のさらなる刈り取りを行い、アルゴリズム間の激しいコントラストを見出した。 最後に,最近の動的スパーシティアルゴリズムでは,構造学習の早期発生について検討する。 1つのエポック後でも構造はほとんど決定され、トレーニングを通して密度勾配を必要としないより効率的なアルゴリズムが提案できることがわかった。 スパースニューラルネットワークのアルゴリズムを振り返り、異なるレンズからの性能を分析しながら、いくつかの興味深い特性と将来の研究への有望な方向性を明らかにした。

関連論文リスト

• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Robust Learning of Parsimonious Deep Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。 最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。 我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
  論文  参考訳（メタデータ） (2022-05-10T03:38:55Z)
• Learning from Randomly Initialized Neural Network Features [24.75062551820944]
  ランダムニューラルネットワークが期待できる特徴抽出器として優れているという驚くべき結果を示す。 これらのランダムな特徴は、本質的に無限次元であるニューラルネットワーク優先カーネル(NNPK)と呼ばれるものの有限サンプル化に対応する。
  論文  参考訳（メタデータ） (2022-02-13T23:35:11Z)
• Dynamic Analysis of Nonlinear Civil Engineering Structures using Artificial Neural Network with Adaptive Training [2.1202971527014287]
  本研究では,適応学習アルゴリズムを用いて人工ニューラルネットワークを開発した。 実地運動記録に対するせん断フレームと岩体構造の時間履歴応答をネットワークで予測できる。
  論文  参考訳（メタデータ） (2021-11-21T21:14:48Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• On the performance of deep learning for numerical optimization: an application to protein structure prediction [0.0]
  本稿では,グローバルな最適化問題に対処するディープラーニングモデルの性能について述べる。 提案手法は、効率的なニューラルネットワークを生成するために、NAS(Neural Architecture Search)の概念を採用する。 実験により、手書きのアルゴリズムと比較して、生成された学習モデルが競合する結果が得られることが明らかになった。
  論文  参考訳（メタデータ） (2020-12-17T17:01:30Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Deep Randomized Neural Networks [12.333836441649343]
  ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。 本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
  論文  参考訳（メタデータ） (2020-02-27T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。