論文の概要: Exploring the Connection Between Binary and Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2002.10064v3
• Date: Thu, 21 May 2020 21:53:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 03:04:01.144926
• Title: Exploring the Connection Between Binary and Spiking Neural Networks
• Title（参考訳）: バイナリとスパイクニューラルネットワークの関連性を探る
• Authors: Sen Lu, Abhronil Sengupta
• Abstract要約: 両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 1.329054857829016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-chip edge intelligence has necessitated the exploration of algorithmic techniques to reduce the compute requirements of current machine learning frameworks. This work aims to bridge the recent algorithmic progress in training Binary Neural Networks and Spiking Neural Networks - both of which are driven by the same motivation and yet synergies between the two have not been fully explored. We show that training Spiking Neural Networks in the extreme quantization regime results in near full precision accuracies on large-scale datasets like CIFAR-$100$ and ImageNet. An important implication of this work is that Binary Spiking Neural Networks can be enabled by "In-Memory" hardware accelerators catered for Binary Neural Networks without suffering any accuracy degradation due to binarization. We utilize standard training techniques for non-spiking networks to generate our spiking networks by conversion process and also perform an extensive empirical analysis and explore simple design-time and run-time optimization techniques for reducing inference latency of spiking networks (both for binary and full-precision models) by an order of magnitude over prior work.
• Abstract（参考訳）: オンチップのエッジインテリジェンスは、現在の機械学習フレームワークの計算要件を減らすためにアルゴリズム技術の探求を必要としている。 この研究は、バイナリニューラルネットワークとスパイキングニューラルネットワークのトレーニングにおける最近のアルゴリズムの進歩を橋渡しすることを目的としている。 極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは、CIFAR-$100$やImageNetのような大規模データセット上で、ほぼ完全な精度の精度が得られることを示す。 この研究の重要な意味は、バイナリスパイキングニューラルネットワークは、二項化による精度の劣化に苦しむことなく、バイナリニューラルネットワークを対象とする"インメモリ"ハードウェアアクセラレータによって実現可能であることである。 我々は、スパイキングネットワークを変換処理により生成する標準的なトレーニング手法を利用して、広範な経験的分析を行い、スパイキングネットワーク(バイナリモデルとフル精度モデルの両方)の推論遅延を前処理よりも桁違いに低減するシンプルな設計時および実行時最適化手法を探索する。

関連論文リスト

• Join the High Accuracy Club on ImageNet with A Binary Neural Network Ticket [10.552465253379134]
  ILSVRC-2012 ImageNetにおいて、バイナリニューラルネットワークが重要な精度レベル(例えば80%)をどうやって達成できるのか? 我々は、バイナリアーキテクチャとその最適化プロセスの包括的な研究に基づいて、新しいバイナリアーキテクチャBNextを設計する。 極めて正確なバイナリモデルを訓練する際の直感的オーバーフィッティング問題を軽減するために,新しい知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T13:08:58Z)
• A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。 ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2022-10-31T16:13:15Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• High-Capacity Expert Binary Networks [56.87581500474093]
  ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:58:10Z)
• Controlling Information Capacity of Binary Neural Network [21.06914471328105]
  本稿では、トレーニングプロセスを通して、情報容量の安定的な事前定義されたレベルを維持するバイナリネットワークのトレーニング方法を提案する。 SVHN, CIFAR, ImageNetデータセットを用いて行った実験の結果, 提案手法がバイナリネットワークの精度を統計的に向上することを示した。
  論文  参考訳（メタデータ） (2020-08-04T10:08:28Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。