論文の概要: BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning

• arxiv url: http://arxiv.org/abs/2012.08300v1
• Date: Tue, 15 Dec 2020 14:06:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:06:00.287097
• Title: BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning
• Title（参考訳）: BiSNN:ベイズ学習による2重み付きスパイクニューラルネットワークのトレーニング
• Authors: Hyeryung Jang and Nicolas Skatchkovsky and Osvaldo Simeone
• Abstract要約: Spiking Neural Networks(SNN)は、エネルギー効率を高める生物学的にインスパイアされたダイナミックなイベント駆動モデルです。 時間的にスパースなバイナリアクティベーションとバイナリ重みの利点を組み合わせたSNNモデルが導入された。 実験は、フル精度実装に関するパフォーマンス損失を検証します。
• 参考スコア（独自算出の注目度）: 37.376989855065545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial Neural Network (ANN)-based inference on battery-powered devices can be made more energy-efficient by restricting the synaptic weights to be binary, hence eliminating the need to perform multiplications. An alternative, emerging, approach relies on the use of Spiking Neural Networks (SNNs), biologically inspired, dynamic, event-driven models that enhance energy efficiency via the use of binary, sparse, activations. In this paper, an SNN model is introduced that combines the benefits of temporally sparse binary activations and of binary weights. Two learning rules are derived, the first based on the combination of straight-through and surrogate gradient techniques, and the second based on a Bayesian paradigm. Experiments validate the performance loss with respect to full-precision implementations, and demonstrate the advantage of the Bayesian paradigm in terms of accuracy and calibration.
• Abstract（参考訳）: 人工ニューラルネットワーク(ann)ベースのバッテリ駆動デバイスの推論は、シナプス重みをバイナリに制限することで、よりエネルギー効率が向上し、乗算を実行する必要がなくなる。 新たなアプローチとして、バイオインスパイアされた動的イベント駆動モデルであるスパイキングニューラルネットワーク(SNN)の使用が、バイナリ、スパース、アクティベーションの使用によるエネルギー効率の向上に頼っている。 本稿では、時間的にスパースなバイナリアクティベーションと二分重の利点を組み合わせたSNNモデルを提案する。 2つの学習規則が導出され、第1はストレートスルーとサロゲート勾配法の組み合わせ、第2はベイズパラダイムに基づく。 実験は、完全な精度実装に関する性能損失を検証し、正確性とキャリブレーションの観点からベイズパラダイムの利点を実証する。

関連論文リスト

• On-Device Learning with Binary Neural Networks [2.7040098749051635]
  我々は、最近のCL分野の進歩とBNN(Binary Neural Networks)の効率を取り入れたCLソリューションを提案する。 バックボーンとしてのバイナリネットワークの選択は、低消費電力デバイスの制約を満たすために不可欠である。
  論文  参考訳（メタデータ） (2023-08-29T13:48:35Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Network Binarization via Contrastive Learning [16.274341164897827]
  バイナリニューラルネットワーク(BNN)を訓練しながら、新しいコントラスト学習フレームワークを構築する。 MIはバイナリとFPのアクティベーション間で共有される情報を計測する指標として導入された。 以上の結果から,本手法は既存の最先端バイナライズ手法の重ね合わせモジュールとして実装可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-06T21:04:53Z)
• Bimodal Distributed Binarized Neural Networks [3.0778860202909657]
  しかし、バイナリ化技術は、完全精度のものと比べれば、不適格な性能劣化に悩まされる。 バイモーダル分散バイナライゼーション法(メソッド名)を提案する。 これにより、ネットワーク重みのバイモーダルな分布がクルトーシス正規化によって引き起こされる。
  論文  参考訳（メタデータ） (2022-04-05T06:07:05Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution [12.46127622357824]
  非平衡な活性化分布はBNNの精度を実際に向上させることができることを示す。 また、二項活性化関数のしきい値を調整することにより、二項活性化関数の不均衡分布が生じることを示す。 実験結果から,バイナリアクティベーション関数のしきい値を簡単にシフトすることで,従来のBNNモデルの精度を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-12-02T02:49:53Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。