論文の概要: Hidden-Fold Networks: Random Recurrent Residuals Using Sparse Supermasks

• arxiv url: http://arxiv.org/abs/2111.12330v1
• Date: Wed, 24 Nov 2021 08:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 15:35:08.936836
• Title: Hidden-Fold Networks: Random Recurrent Residuals Using Sparse Supermasks
• Title（参考訳）: 隠れフォールドネットワーク:スパーススーパーマスクを用いたランダムリカレント残差
• Authors: \'Angel L\'opez Garc\'ia-Arias, Masanori Hashimoto, Masato Motomura, Jaehoon Yu
• Abstract要約: ディープニューラルネットワーク(DNN)は過度にパラメータ化されているため、最近の研究で、高い精度でサブネットワークを含むことが判明した。 本稿では,これらの研究の行を高度に圧縮されながら正確なモデルにブレンドすることを提案する:Hedden-Fold Networks (HFNs)。 CIFAR100のResNet50と同等の性能を実現し、メモリは38.5倍、ImageNetのResNet34は26.8倍小さい。
• 参考スコア（独自算出の注目度）: 1.0814638303152528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are so over-parametrized that recent research has found them to already contain a subnetwork with high accuracy at their randomly initialized state. Finding these subnetworks is a viable alternative training method to weight learning. In parallel, another line of work has hypothesized that deep residual networks (ResNets) are trying to approximate the behaviour of shallow recurrent neural networks (RNNs) and has proposed a way for compressing them into recurrent models. This paper proposes blending these lines of research into a highly compressed yet accurate model: Hidden-Fold Networks (HFNs). By first folding ResNet into a recurrent structure and then searching for an accurate subnetwork hidden within the randomly initialized model, a high-performing yet tiny HFN is obtained without ever updating the weights. As a result, HFN achieves equivalent performance to ResNet50 on CIFAR100 while occupying 38.5x less memory, and similar performance to ResNet34 on ImageNet with a memory size 26.8x smaller. The HFN will become even more attractive by minimizing data transfers while staying accurate when it runs on highly-quantized and randomly-weighted DNN inference accelerators. Code available at https://github.com/Lopez-Angel/hidden-fold-networks
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は過度にパラメータ化されているため、最近の研究で、ランダムに初期化された状態において高い精度でサブネットワークをすでに含んでいることがわかった。 これらのサブネットワークを見つけることは、重みづけ学習に有効な代替訓練方法である。 並行して、別の研究は、深層残留ネットワーク(resnets)が浅層リカレントニューラルネットワーク(rnn)の振る舞いを近似しようとしていると仮定し、それらをリカレントモデルに圧縮する方法を提案している。 本稿では,これらの研究を高度に圧縮されながら正確なモデルであるHedden-Fold Networks (HFNs) にブレンドすることを提案する。 リカレント構造に再ネットをフォールディングし、ランダム初期化モデル内に隠された正確なサブネットワークを探索することで、重みを更新せずに、高性能で小さなhfnを得る。 その結果、HFNはCIFAR100上のResNet50と同等の性能を達成し、メモリは38.5倍、ImageNet上のResNet34は26.8倍小さい。 HFNは、高度に量子化されランダムに重み付けされたDNN推論アクセラレーター上で動作する場合、正確性を維持しながらデータ転送を最小限にすることでさらに魅力的になる。 https://github.com/Lopez-Angel/hidden-fold-networksで公開されているコード

関連論文リスト

• Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
  スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。 本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。 我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
  論文  参考訳（メタデータ） (2024-01-27T16:27:19Z)
• Spikingformer: Spike-driven Residual Learning for Transformer-based Spiking Neural Network [19.932683405796126]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段を提供する。 SNNは、残余接続の構造によって引き起こされる非スパイク計算に悩まされる。 我々は、純粋なトランスをベースとしたスパイクニューラルネットワークであるSpkingformerを開発した。
  論文  参考訳（メタデータ） (2023-04-24T09:44:24Z)
• An Exact Mapping From ReLU Networks to Spiking Neural Networks [3.1701886344065255]
  本稿では,Rectified Linear Units (ReLUs) を用いたネットワークから,ニューロン毎のスパイクを正確に1回発射するSNNへの正確なマッピングを提案する。 より一般的には、任意の深部ReLUネットワークが、パフォーマンスを失うことなく、エネルギー効率のよい単一スパイクニューラルネットワークに置き換えられることを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:31:09Z)
• Network Augmentation for Tiny Deep Learning [73.57192520534585]
  ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。 画像分類と物体検出におけるNetAugの有効性を示す。
  論文  参考訳（メタデータ） (2021-10-17T18:48:41Z)
• Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets [65.28292822614418]
  解像度、深さ、幅を同時に拡大する巨大な公式は、ニューラルネットワークのためのルービックキューブを提供する。 本稿では,最小モデルサイズと計算コストで深層ニューラルネットワークを得るためのツイストルールを検討することを目的とする。
  論文  参考訳（メタデータ） (2020-10-28T08:49:45Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Principal Component Networks: Parameter Reduction Early in Training [10.14522349959932]
  パラメータ化されたネットワークと同じ性能を示す小さなネットワークを見つける方法を示す。 我々はPCAを用いて、層入力の高分散の基盤を見つけ、これらの方向を用いて層重みを表現する。 また、ResNet-20 PCNは、より高速なトレーニングを行いながら、Deep ResNet-110ネットワークより優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-23T21:40:24Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• DRU-net: An Efficient Deep Convolutional Neural Network for Medical Image Segmentation [2.3574651879602215]
  残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。 両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-04-28T12:16:24Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。