論文の概要: ShiftNAS: Towards Automatic Generation of Advanced Mulitplication-Less Neural Networks

• arxiv url: http://arxiv.org/abs/2204.05113v1
• Date: Thu, 7 Apr 2022 12:15:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-16 13:03:42.684944
• Title: ShiftNAS: Towards Automatic Generation of Advanced Mulitplication-Less Neural Networks
• Title（参考訳）: shiftnas: 高度なムリプリケーションレスニューラルネットワークの自動生成に向けて
• Authors: Xiaoxuan Lou, Guowen Xu, Kangjie Chen, Guanlin Li, Jiwei Li, Tianwei Zhang
• Abstract要約: ShiftNASは、ビットシフトニューラルネットワークと実際の評価対象との精度ギャップを大幅に削減する、ニューラルネットワーク探索(NAS)をカスタマイズする最初のフレームワークである。 CIFAR10では1.69-8.07%、CIFAR100では5.71-18.09%、ImageNetでは4.36-67.07%の精度が向上する。
• 参考スコア（独自算出の注目度）: 30.14665696695582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiplication-less neural networks significantly reduce the time and energy cost on the hardware platform, as the compute-intensive multiplications are replaced with lightweight bit-shift operations. However, existing bit-shift networks are all directly transferred from state-of-the-art convolutional neural networks (CNNs), which lead to non-negligible accuracy drop or even failure of model convergence. To combat this, we propose ShiftNAS, the first framework tailoring Neural Architecture Search (NAS) to substantially reduce the accuracy gap between bit-shift neural networks and their real-valued counterparts. Specifically, we pioneer dragging NAS into a shift-oriented search space and endow it with the robust topology-related search strategy and custom regularization and stabilization. As a result, our ShiftNAS breaks through the incompatibility of traditional NAS methods for bit-shift neural networks and achieves more desirable performance in terms of accuracy and convergence. Extensive experiments demonstrate that ShiftNAS sets a new state-of-the-art for bit-shift neural networks, where the accuracy increases (1.69-8.07)% on CIFAR10, (5.71-18.09)% on CIFAR100 and (4.36-67.07)% on ImageNet, especially when many conventional CNNs fail to converge on ImageNet with bit-shift weights.
• Abstract（参考訳）: 計算集約型乗算は軽量なビットシフト演算に置き換えられるため、乗算レスニューラルネットワークはハードウェアプラットフォームの時間とエネルギーコストを大幅に削減する。 しかし、既存のビットシフトネットワークはすべて最先端の畳み込みニューラルネットワーク(cnns)から直接転送されるため、不要な精度低下やモデル収束の失敗につながる。 これに対抗するために,我々は,ビットシフトニューラルネットワークと実数値ニューラルネットワークの精度ギャップを大幅に低減する,最初のフレームワークであるShiftNASを提案する。 具体的には、NASをシフト指向の検索空間にドラッグし、ロバストなトポロジ関連検索戦略とカスタム正規化と安定化を付与する。 その結果、ShiftNASは従来のNAS方式のビットシフトニューラルネットワークの非互換性を突破し、精度と収束性の観点からより望ましい性能を得ることができた。 広範な実験により、shiftnasはビットシフトニューラルネットワークの新しい最先端を設定し、cifar10では(1.69-8.07)%、cifar100では(5.71-18.09)%、imagenetでは(4.36-67.07)%の精度が向上した。

関連論文リスト

• Twin Network Augmentation: A Novel Training Strategy for Improved Spiking Neural Networks and Efficient Weight Quantization [1.2513527311793347]
  スパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動のスパイクを使用してニューロン間で情報を伝達する。 ニューラルネットワークのフットプリントを削減する別のテクニックとして、量子化がある。 本稿では,SNNの性能向上を目的とした新しいトレーニングフレームワークであるTwin Network Augmentation(TNA)を紹介する。
  論文  参考訳（メタデータ） (2024-09-24T08:20:56Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。 ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2022-10-31T16:13:15Z)
• NAS-PRNet: Neural Architecture Search generated Phase Retrieval Net for Off-axis Quantitative Phase Imaging [5.943105097884823]
  ニューラルアーキテクチャ探索(NAS)生成相検索ネット(NAS-PRNet)を提案する。 NAS-PRNetはエンコーダ-デコーダスタイルのニューラルネットワークで、大規模なニューラルネットワークアーキテクチャ検索空間から自動的に見つける。 NAS-PRNetはPak Signal-to-Noise Ratio (PSNR)の36.1dBを達成した。
  論文  参考訳（メタデータ） (2022-10-25T16:16:41Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• A Spiking Neural Network for Image Segmentation [3.4998703934432682]
  我々は,深層ニューラルネットワーク(ANN)アーキテクチャのU-Netを,Nengoフレームワークを用いたスパイキングニューラルネットワーク(SNN)アーキテクチャに変換する。 レートベースモデルとスパイクベースモデルの両方がトレーニングされ、パフォーマンスとパワーのベンチマークに最適化されている。 Intel Loihiのニューロモルフィックチップのニューロモルフィック実装は、従来のハードウェアよりも2倍エネルギー効率が高い。
  論文  参考訳（メタデータ） (2021-06-16T16:23:18Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)
• A Light-Weighted Convolutional Neural Network for Bitemporal SAR Image Change Detection [40.58864817923371]
  計算と空間の複雑さを低減するために,軽量なニューラルネットワークを提案する。 提案するネットワークでは、通常の畳み込み層を、入力と出力の間に同じ数のチャネルを保持するボトルネック層に置き換える。 両時間SAR画像の4つのセット上で、重み付けされたニューラルネットワークを検証する。
  論文  参考訳（メタデータ） (2020-05-29T04:01:32Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。