論文の概要: Rate Coding or Direct Coding: Which One is Better for Accurate, Robust,
and Energy-efficient Spiking Neural Networks?
- arxiv url: http://arxiv.org/abs/2202.03133v1
- Date: Mon, 31 Jan 2022 16:18:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 00:39:18.498829
- Title: Rate Coding or Direct Coding: Which One is Better for Accurate, Robust,
and Energy-efficient Spiking Neural Networks?
- Title（参考訳）: レートコーディングか直接符号化か:精度、ロバスト、エネルギー効率の良いスパイクニューラルネットワークでどちらが優れているか?
- Authors: Youngeun Kim, Hyoungseob Park, Abhishek Moitra, Abhiroop
Bhattacharjee, Yeshwanth Venkatesha, Priyadarshini Panda
- Abstract要約: スパイキングニューラルネットワーク(SNN)は画像分類タスクに重点を置いているため、画像を時間的バイナリスパイクに変換するための様々なコーディング技術が提案されている。
これらのうち、レートコーディングとダイレクトコーディングは、実用的なSNNシステムを構築するための候補として期待されている。
我々は3つの視点から2つの符号化を包括的に分析する。
- 参考スコア（独自算出の注目度）: 4.872468969809081
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent Spiking Neural Networks (SNNs) works focus on an image classification
task, therefore various coding techniques have been proposed to convert an
image into temporal binary spikes. Among them, rate coding and direct coding
are regarded as prospective candidates for building a practical SNN system as
they show state-of-the-art performance on large-scale datasets. Despite their
usage, there is little attention to comparing these two coding schemes in a
fair manner. In this paper, we conduct a comprehensive analysis of the two
codings from three perspectives: accuracy, adversarial robustness, and
energy-efficiency. First, we compare the performance of two coding techniques
with various architectures and datasets. Then, we measure the robustness of the
coding techniques on two adversarial attack methods. Finally, we compare the
energy-efficiency of two coding schemes on a digital hardware platform. Our
results show that direct coding can achieve better accuracy especially for a
small number of timesteps. In contrast, rate coding shows better robustness to
adversarial attacks owing to the non-differentiable spike generation process.
Rate coding also yields higher energy-efficiency than direct coding which
requires multi-bit precision for the first layer. Our study explores the
characteristics of two codings, which is an important design consideration for
building SNNs. The code is made available at
https://github.com/Intelligent-Computing-Lab-Yale/Rate-vs-Direct.
- Abstract（参考訳）: 最近のスパイキングニューラルネットワーク(SNN)は画像分類タスクに重点を置いているため、画像を時間的バイナリスパイクに変換するための様々なコーディング技術が提案されている。
これらのうち、レート符号化と直接符号化は、大規模データセット上での最先端性能を示すため、実用的なSNNシステムを構築するための候補として期待されている。
使用するにもかかわらず、この2つのコーディング方式を公平に比較することにはほとんど注意が払わない。
本稿では,この2つの符号化を,正確性,逆ロバスト性,エネルギー効率という3つの観点から包括的に解析する。
まず、2つのコーディング手法の性能を様々なアーキテクチャとデータセットと比較する。
次に,2つの攻撃手法における符号化手法のロバスト性を測定する。
最後に,デジタルハードウェアプラットフォームにおける2つの符号化方式のエネルギー効率を比較する。
その結果、直接符号化は特に少数の時間ステップにおいて精度が向上することがわかった。
対照的に、レートコーディングは、非微分可能スパイク生成プロセスによる敵攻撃に対してより堅牢性を示す。
レート符号化は、第1層にマルチビット精度を必要とする直接符号化よりも高いエネルギー効率をもたらす。
本研究は2つのコーディングの特徴を考察し,sns構築における重要な設計上の考察である。
コードはhttps://github.com/Intelligent-Computing-Lab-Yale/Rate-vs-Directで公開されている。
関連論文リスト
- Learning Linear Block Error Correction Codes [62.25533750469467]
本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。
また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2024-05-07T06:47:12Z) - Coding for Gaussian Two-Way Channels: Linear and Learning-Based
Approaches [28.98777190628006]
線形符号化と学習ベース符号化の2つの異なる双方向符号化方式を提案する。
学習に基づくコーディングには、新しいリカレントニューラルネットワーク(RNN)ベースのコーディングアーキテクチャを導入する。
我々の双方向符号化方式は、従来のチャネル符号化方式よりも格段に優れている。
論文 参考訳（メタデータ） (2023-12-31T12:40:18Z) - Tensor Network Decoding Beyond 2D [2.048226951354646]
テンソルネットワークデコーディングを高次元に一般化する手法をいくつか導入する。
提案手法の復号精度は3次元曲面符号における最先端デコーダよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-16T18:00:02Z) - Efficient spike encoding algorithms for neuromorphic speech recognition [5.182266520875928]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックプロセッサの実装に非常に効果的である。
実値信号は、SNNに適さない実値信号として符号化される。
本稿では,話者独立桁分類システムにおける4つのスパイク符号化手法について検討する。
論文 参考訳（メタデータ） (2022-07-14T17:22:07Z) - LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text
Retrieval [117.15862403330121]
共同学習のためのネットワークにおいて,デュアルエンコーダとクロスエンコーダを組み合わせたLoopITRを提案する。
具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
論文 参考訳（メタデータ） (2022-03-10T16:41:12Z) - Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。
本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。
我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
論文 参考訳（メタデータ） (2021-12-21T19:14:44Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z) - Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
本稿では,効率よく適応的なコード駆動グラフを提案する。
自動エンコーダのコンテキストでデコードすることで更新される。
ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
論文 参考訳（メタデータ） (2020-02-27T05:58:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。