論文の概要: ESPN: Extremely Sparse Pruned Networks

• arxiv url: http://arxiv.org/abs/2006.15741v1
• Date: Sun, 28 Jun 2020 23:09:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 02:14:34.944762
• Title: ESPN: Extremely Sparse Pruned Networks
• Title（参考訳）: ESPN:極端にスパースなネットワーク
• Authors: Minsu Cho, Ameya Joshi, and Chinmay Hegde
• Abstract要約: 簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
• 参考スコア（独自算出の注目度）: 50.436905934791035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are often highly overparameterized, prohibiting their use in compute-limited systems. However, a line of recent works has shown that the size of deep networks can be considerably reduced by identifying a subset of neuron indicators (or mask) that correspond to significant weights prior to training. We demonstrate that an simple iterative mask discovery method can achieve state-of-the-art compression of very deep networks. Our algorithm represents a hybrid approach between single shot network pruning methods (such as SNIP) with Lottery-Ticket type approaches. We validate our approach on several datasets and outperform several existing pruning approaches in both test accuracy and compression ratio.
• Abstract（参考訳）: ディープニューラルネットワークはしばしば過度にパラメータ化され、計算に制限のあるシステムでは使用が禁止される。 しかし、最近の一連の研究により、トレーニング前のかなりの重みに対応するニューロン指標(またはマスク)のサブセットを特定することで、ディープネットワークのサイズを大幅に削減できることが示された。 簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現できることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング手法(SNIPなど)とロッテ・ティケット型手法のハイブリッド手法を示す。 提案手法をいくつかのデータセットで検証し,テスト精度と圧縮比の両方で既存のプルーニング手法より優れていることを示す。

関連論文リスト

• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• A simple approach for quantizing neural networks [7.056222499095849]
  完全トレーニングニューラルネットワークの重みを定量化する新しい手法を提案する。 単純な決定論的事前処理のステップにより、メモリレススカラー量子化によってネットワーク層を定量化できます。 提案手法は, ディープ・ネットワークを単一層に連続的に適用することで, 容易に定量化することができる。
  論文  参考訳（メタデータ） (2022-09-07T22:36:56Z)
• Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning [41.19516938181544]
  現在のネットワーク圧縮法には、最大圧縮率を推定する理論的な枠組みが欠如している。 本研究では,ネットワークの最大冗長性を推定するための勾配行列特異点解析に基づく手法を提案する。 この最大速度で導かれ,ネットワーク性能を犠牲にすることなく,ニューロンネットワーク構造を最大化するために,新規で効率的な階層型ネットワークプルーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-07T21:30:47Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• ReluDiff: Differential Verification of Deep Neural Networks [8.601847909798165]
  我々は2つの密接に関連するネットワークの差分検証法を開発した。 我々は2つのネットワークの構造的および行動的類似性を利用して、2つのネットワークの出力ニューロン間の差異をより正確に拘束する。 実験の結果,最先端の検証ツールと比較して,精度向上が可能であることがわかった。
  論文  参考訳（メタデータ） (2020-01-10T20:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。