論文の概要: ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks

• arxiv url: http://arxiv.org/abs/2205.08119v1
• Date: Tue, 17 May 2022 06:40:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 13:03:23.118744
• Title: ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks
• Title（参考訳）: ShiftAddNAS: より正確で効率的なニューラルネットワークのためのハードウェアインスパイアされた検索
• Authors: Haoran You, Baopu Li, Huihong Shi, Yonggan Fu, Yingyan Lin
• Abstract要約: ShiftAddNASは、より正確で効率的なNNを自動的に検索できる。 ShiftAddNASは、乗算ベースと乗算自由演算子の両方を組み込んだ最初のハイブリッド検索空間を統合する。 ShiftAddNASの有効性は実験とアブレーション研究で一貫して検証されている。
• 参考スコア（独自算出の注目度）: 42.28659737268829
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural networks (NNs) with intensive multiplications (e.g., convolutions and transformers) are capable yet power hungry, impeding their more extensive deployment into resource-constrained devices. As such, multiplication-free networks, which follow a common practice in energy-efficient hardware implementation to parameterize NNs with more efficient operators (e.g., bitwise shifts and additions), have gained growing attention. However, multiplication-free networks usually under-perform their vanilla counterparts in terms of the achieved accuracy. To this end, this work advocates hybrid NNs that consist of both powerful yet costly multiplications and efficient yet less powerful operators for marrying the best of both worlds, and proposes ShiftAddNAS, which can automatically search for more accurate and more efficient NNs. Our ShiftAddNAS highlights two enablers. Specifically, it integrates (1) the first hybrid search space that incorporates both multiplication-based and multiplication-free operators for facilitating the development of both accurate and efficient hybrid NNs; and (2) a novel weight sharing strategy that enables effective weight sharing among different operators that follow heterogeneous distributions (e.g., Gaussian for convolutions vs. Laplacian for add operators) and simultaneously leads to a largely reduced supernet size and much better searched networks. Extensive experiments and ablation studies on various models, datasets, and tasks consistently validate the efficacy of ShiftAddNAS, e.g., achieving up to a +7.7% higher accuracy or a +4.9 better BLEU score compared to state-of-the-art NN, while leading to up to 93% or 69% energy and latency savings, respectively. Codes and pretrained models are available at https://github.com/RICE-EIC/ShiftAddNAS.
• Abstract（参考訳）: 集約的な乗算(例えば畳み込みやトランスフォーマー)を持つニューラルネットワーク(NN)は、リソース制約されたデバイスへのより広範な展開を妨げるため、まだ電力を消費する能力がある。 そのため、より効率的な演算子(ビットシフトや加算など)でNNをパラメータ化するためのエネルギー効率の良いハードウェア実装において、乗算自由ネットワークが注目されている。 しかし、乗算フリーネットワークは通常、達成された精度でバニラのネットワークを過小評価する。 この目的のために、この研究は、強力でコストのかかる乗算と効率の低い演算子の両方からなるハイブリッドNNを提唱し、より正確で効率的なNNを自動検索できるShiftAddNASを提案する。 ShiftAddNASは2つのイネーブルを強調します。 Specifically, it integrates (1) the first hybrid search space that incorporates both multiplication-based and multiplication-free operators for facilitating the development of both accurate and efficient hybrid NNs; and (2) a novel weight sharing strategy that enables effective weight sharing among different operators that follow heterogeneous distributions (e.g., Gaussian for convolutions vs. Laplacian for add operators) and simultaneously leads to a largely reduced supernet size and much better searched networks. 様々なモデル、データセット、タスクに関する大規模な実験とアブレーション研究は、ShiftAddNASの有効性を一貫して検証し、例えば、最先端NNと比較して最大で7.7%の精度または4.9のBLEUスコアを達成し、それぞれ最大で93%または69%の省エネルギーと遅延を達成している。 コードと事前トレーニングされたモデルはhttps://github.com/rice-eic/shiftaddnasで入手できる。

関連論文リスト

• ShiftAddAug: Augment Multiplication-Free Tiny Neural Network with Hybrid Computation [7.143509813507735]
  ShiftAddAugは費用のかかる乗算を使い、効率は良いが非力な乗算演算子を拡張し、推論オーバーヘッドなしでパフォーマンスを向上させる。 CIFAR100の精度は、直接訓練されたNNよりも最大4.95%向上する。
  論文  参考訳（メタデータ） (2024-07-03T07:56:51Z)
• DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two Quantization [27.231327287238102]
  本稿では,シフトネットワークの精度を大幅に向上させるDenseShiftネットワークを提案する。 様々なコンピュータビジョンと音声タスクに関する実験により、DenseShiftは既存の低ビット乗算自由ネットワークよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-08-20T15:17:40Z)
• Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks [0.0]
  本稿では,既存のハードウェア上での二重スパースネットワークの性能を大幅に向上させる手法であるComplementary Sparsityを紹介する。 FPGAのスループットとエネルギー効率を最大100倍向上させる。 我々の結果は、重量とアクティベーションの間隔が将来のAIモデルを効率的にスケーリングするための強力な組み合わせになり得ることを示唆している。
  論文  参考訳（メタデータ） (2021-12-27T20:41:01Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• AdderNet and its Minimalist Hardware Design for Energy-Efficient Artificial Intelligence [111.09105910265154]
  アドラー畳み込みニューラルネットワーク(AdderNet)を用いた新しいミニマリストハードウェアアーキテクチャを提案する。 AdderNet全体の16%の高速化を実現している。 我々は、AdderNetが他の競争相手を追い越せると結論付けている。
  論文  参考訳（メタデータ） (2021-01-25T11:31:52Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)
• AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
  我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
  論文  参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。