論文の概要: Computational Complexity Evaluation of Neural Network Applications in Signal Processing

• arxiv url: http://arxiv.org/abs/2206.12191v2
• Date: Sun, 10 Mar 2024 21:00:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 18:10:28.335359
• Title: Computational Complexity Evaluation of Neural Network Applications in Signal Processing
• Title（参考訳）: 信号処理におけるニューラルネットワーク応用の計算複雑性評価
• Authors: Pedro Freire, Sasipim Srivallapanondh, Antonio Napoli, Jaroslaw E. Prilepsky, Sergei K. Turitsyn
• Abstract要約: 本稿では,デジタル信号処理におけるニューラルネットワーク層の計算複雑性を評価し,比較するための体系的アプローチを提案する。 4つの指標のうちの1つは、加算数とビットシフト数 (NABS) と呼ばれ、不均一な量子化のために新たに導入されたものである。
• 参考スコア（独自算出の注目度）: 3.4656382116457767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we provide a systematic approach for assessing and comparing the computational complexity of neural network layers in digital signal processing. We provide and link four software-to-hardware complexity measures, defining how the different complexity metrics relate to the layers' hyper-parameters. This paper explains how to compute these four metrics for feed-forward and recurrent layers, and defines in which case we ought to use a particular metric depending on whether we characterize a more soft- or hardware-oriented application. One of the four metrics, called `the number of additions and bit shifts (NABS)', is newly introduced for heterogeneous quantization. NABS characterizes the impact of not only the bitwidth used in the operation but also the type of quantization used in the arithmetical operations. We intend this work to serve as a baseline for the different levels (purposes) of complexity estimation related to the neural networks' application in real-time digital signal processing, aiming at unifying the computational complexity estimation.
• Abstract（参考訳）: 本稿では,デジタル信号処理におけるニューラルネットワーク層の計算複雑性を評価・比較するための体系的手法を提案する。 ソフトウェアからハードウエアまでの複雑性測定を4つ提供し、異なる複雑性メトリクスがレイヤのハイパーパラメータにどのように関係しているかを定義します。 本稿では、フィードフォワード層とリカレント層に対するこれらの4つのメトリクスの計算方法を説明し、よりソフトなアプリケーションかハードウェア指向のアプリケーションを特徴付けるかによって、特定のメトリクスを使用するべき場合を定義する。 加算数とビットシフト数(nabs)'と呼ばれる4つの指標のうちの1つが、異種量子化のために新しく導入された。 NABSは演算に使用されるビット幅だけでなく、演算に使用される量子化の種類にも影響する。 本研究は、リアルタイムディジタル信号処理におけるニューラルネットワークの応用に関連する複雑性推定のさまざまなレベル(目的)のベースラインとして機能し、計算複雑性推定を統一することを目的としている。

関連論文リスト

• Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
  d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか? 我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。 我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
  論文  参考訳（メタデータ） (2024-08-22T08:21:28Z)
• On the Computational Complexities of Complex-valued Neural Networks [0.0]
  複素数値ニューラルネットワーク(CVNN)は、複素領域データのデジタル信号処理に使用される非線形フィルタである。 本稿では,CVNNの量的および計算的複雑さについて述べる。
  論文  参考訳（メタデータ） (2023-10-19T18:14:04Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Low-bit Shift Network for End-to-End Spoken Language Understanding [7.851607739211987]
  本稿では,連続パラメータを低ビットの2値に量子化する2乗量子化法を提案する。 これにより、高価な乗算演算を除去し、低ビット重みを使用すれば計算の複雑さを低減できる。
  論文  参考訳（メタデータ） (2022-07-15T14:34:22Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
  量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。 近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。 浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
  論文  参考訳（メタデータ） (2021-03-25T06:57:11Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• Inference with Artificial Neural Networks on Analog Neuromorphic Hardware [0.0]
  BrainScaleS-2 ASICは混合信号ニューロンとシナプス回路から構成される。 システムは、人工ニューラルネットワークのベクトル行列乗算と累積モードでも動作する。
  論文  参考訳（メタデータ） (2020-06-23T17:25:06Z)
• Separation of Memory and Processing in Dual Recurrent Neural Networks [0.0]
  入力に接続する繰り返し層とフィードフォワード層を積み重ねるニューラルネットワークアーキテクチャを探索する。 繰り返し単位の活性化関数にノイズが導入されたとき、これらのニューロンは二項活性化状態に強制され、ネットワークは有限オートマトンのように振る舞う。
  論文  参考訳（メタデータ） (2020-05-17T11:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。