論文の概要: Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2212.11782v1
• Date: Tue, 22 Nov 2022 15:08:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 03:19:42.072985
• Title: Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける精度低下の影響の高速探索
• Authors: Sepide Saeedi, Alessio Carpegna, Alessandro Savino and Stefano Di Carlo
• Abstract要約: ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
• 参考スコア（独自算出の注目度）: 63.614519238823206
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Approximate Computing (AxC) techniques trade off the computation accuracy for performance, energy, and area reduction gains. The trade-off is particularly convenient when the applications are intrinsically tolerant to some accuracy loss, as in the Spiking Neural Networks (SNNs) case. SNNs are a practical choice when the target hardware reaches the edge of computing, but this requires some area minimization strategies. In this work, we employ an Interval Arithmetic (IA) model to develop an exploration methodology that takes advantage of the capability of such a model to propagate the approximation error to detect when the approximation exceeds tolerable limits by the application. Experimental results confirm the capability of reducing the exploration time significantly, providing the chance to reduce the network parameters' size further and with more fine-grained results.
• Abstract（参考訳）: 近似計算(axc)技術は、性能、エネルギー、面積の削減のために計算精度をトレードオフする。 このトレードオフは、スパイキングニューラルネットワーク(SNN)の場合のように、アプリケーションが本質的にある程度の精度の損失に耐性がある場合に特に便利である。 ターゲットハードウェアがコンピューティングのエッジに達すると、SNNは実用的な選択肢となるが、いくつかの領域の最小化戦略が必要になる。 本研究では,そのようなモデルの能力を活用した探索手法を開発するために,区間演算(ia)モデルを用いて近似誤差を伝播させ,その近似がアプリケーションによって許容可能な限界を超える場合に検出する。 実験により,探索時間を著しく短縮し,ネットワークパラメータのサイズをさらに小さくし,よりきめ細かな結果が得られることを確認した。

関連論文リスト

• Pruning Convolutional Filters via Reinforcement Learning with Entropy Minimization [0.0]
  本稿では,畳み込み活性化の空間エントロピーを最小化する情報理論報酬関数を提案する。 提案手法は,エージェントの報酬関数で直接最適化することなく,精度を維持できる可能性を示している。
  論文  参考訳（メタデータ） (2023-12-08T09:34:57Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
  深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。 これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。 本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
  論文  参考訳（メタデータ） (2022-02-15T06:42:25Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
  本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。 我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。 従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
  論文  参考訳（メタデータ） (2021-07-07T13:39:08Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• From DNNs to GANs: Review of efficient hardware architectures for deep learning [0.0]
  ニューラルネットワークとディープラーニングが現在の研究パラダイムに影響を与え始めている。 DSPプロセッサは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワーク操作を実行することができない。 異なるアルゴリズムは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成対向ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサを設計するために適合している。
  論文  参考訳（メタデータ） (2021-06-06T13:23:06Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation [7.952659059689134]
  スパイキングニューラルネットワーク(SNN)は、スパースでイベント駆動の計算によって生じる潜在的なエネルギー効率について検討されている。 本稿では,損失関数のスパイク数と従来の誤差損失とを明示的に含み,精度とスパイク間隔の両方の重みパラメータを最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-02T23:39:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。