論文の概要: SteppingNet: A Stepping Neural Network with Incremental Accuracy Enhancement

• arxiv url: http://arxiv.org/abs/2211.14926v1
• Date: Sun, 27 Nov 2022 20:20:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 19:34:31.303393
• Title: SteppingNet: A Stepping Neural Network with Incremental Accuracy Enhancement
• Title（参考訳）: SteppingNet: インクリメンタルな精度向上を備えたステッピングニューラルネットワーク
• Authors: Wenhao Sun, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Huaxi Gu, Bing Li, Ulf Schlichtmann
• Abstract要約: MAC(multiply-and-accumulate)操作の数が増えると、リソース制約のあるプラットフォームでの運用が妨げられる。 これらの課題に対処するために,SteppingNetという設計フレームワークを提案する。 我々は、SteppingNetが効果的なインクリメンタルな精度向上を提供し、その推論精度が最先端の作業より一貫して優れていることを示した。
• 参考スコア（独自算出の注目度）: 10.20763050412309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have successfully been applied in many fields in the past decades. However, the increasing number of multiply-and-accumulate (MAC) operations in DNNs prevents their application in resource-constrained and resource-varying platforms, e.g., mobile phones and autonomous vehicles. In such platforms, neural networks need to provide acceptable results quickly and the accuracy of the results should be able to be enhanced dynamically according to the computational resources available in the computing system. To address these challenges, we propose a design framework called SteppingNet. SteppingNet constructs a series of subnets whose accuracy is incrementally enhanced as more MAC operations become available. Therefore, this design allows a trade-off between accuracy and latency. In addition, the larger subnets in SteppingNet are built upon smaller subnets, so that the results of the latter can directly be reused in the former without recomputation. This property allows SteppingNet to decide on-the-fly whether to enhance the inference accuracy by executing further MAC operations. Experimental results demonstrate that SteppingNet provides an effective incremental accuracy improvement and its inference accuracy consistently outperforms the state-of-the-art work under the same limit of computational resources.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、過去数十年で多くの分野で成功している。 しかし、DNNにおける乗算および累積(MAC)操作の増加は、携帯電話や自動運転車などのリソース制約やリソース制限のあるプラットフォームへの適用を妨げている。 このようなプラットフォームでは、ニューラルネットワークは迅速に許容可能な結果を提供する必要があり、コンピュータシステムで利用可能な計算リソースに応じて結果の精度を動的に向上することができる。 これらの課題に対処するため,我々はSteppingNetという設計フレームワークを提案する。 SteppingNetは、MAC操作が利用可能になるにつれて精度が漸進的に向上する一連のサブネットを構築する。 したがって、この設計は精度とレイテンシのトレードオフを可能にする。 さらに、ステッピングネットのより大きなサブネットはより小さなサブネットの上に構築されているため、後者の結果は再計算なしで直接前者で再利用することができる。 このプロパティにより、SteppingNetはさらなるMAC操作を実行して推論精度を高めるかどうかをオンザフライで決定できる。 実験の結果、ステッピングネットは効果的なインクリメンタルな精度向上をもたらし、その推論精度は、同じ計算資源の限界下において最先端の作業を一貫して上回っています。

関連論文リスト

• EncodingNet: A Novel Encoding-based MAC Design for Efficient Neural Network Acceleration [8.254523741863135]
  符号化に基づく新しいディジタル乗算累積(MAC)設計を提案する。 この新しい設計では、乗算器は単純な論理ゲートで置き換えられ、結果をワイドビット表現に投影する。 実験の結果、回路面積を最大79.63%削減し、DNNの実行電力を最大70.18%削減することが確認された。
  論文  参考訳（メタデータ） (2024-02-25T09:35:30Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• CorrectNet: Robustness Enhancement of Analog In-Memory Computing for Neural Networks by Error Suppression and Compensation [4.570841222958966]
  本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。 ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-27T19:13:33Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Low-bit Shift Network for End-to-End Spoken Language Understanding [7.851607739211987]
  本稿では,連続パラメータを低ビットの2値に量子化する2乗量子化法を提案する。 これにより、高価な乗算演算を除去し、低ビット重みを使用すれば計算の複雑さを低減できる。
  論文  参考訳（メタデータ） (2022-07-15T14:34:22Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Greedy Network Enlarging [53.319011626986004]
  本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。 異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
  論文  参考訳（メタデータ） (2021-07-31T08:36:30Z)
• FADNet: A Fast and Accurate Network for Disparity Estimation [18.05392578461659]
  本研究では,FADNetという分散度推定のための効率的かつ高精度なディープネットワークを提案する。 高速な計算を保存するために、2Dベースの効率的な相関層と積み重ねブロックを利用する。 精度を向上させるために、マルチスケールの重みスケジューリングトレーニング技術を活用するために、マルチスケールの予測を含んでいる。
  論文  参考訳（メタデータ） (2020-03-24T10:27:11Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。