論文の概要: ShiftAddAug: Augment Multiplication-Free Tiny Neural Network with Hybrid Computation

• arxiv url: http://arxiv.org/abs/2407.02881v1
• Date: Wed, 3 Jul 2024 07:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:15:24.736902
• Title: ShiftAddAug: Augment Multiplication-Free Tiny Neural Network with Hybrid Computation
• Title（参考訳）: ShiftAddAug: Augment Multiplication-Free Tiny Neural Network with Hybrid Computation
• Authors: Yipin Guo, Zihao Li, Yilin Lang, Qinyuan Ren,
• Abstract要約: ShiftAddAugは費用のかかる乗算を使い、効率は良いが非力な乗算演算子を拡張し、推論オーバーヘッドなしでパフォーマンスを向上させる。 CIFAR100の精度は、直接訓練されたNNよりも最大4.95%向上する。
• 参考スコア（独自算出の注目度）: 7.143509813507735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Operators devoid of multiplication, such as Shift and Add, have gained prominence for their compatibility with hardware. However, neural networks (NNs) employing these operators typically exhibit lower accuracy compared to conventional NNs with identical structures. ShiftAddAug uses costly multiplication to augment efficient but less powerful multiplication-free operators, improving performance without any inference overhead. It puts a ShiftAdd tiny NN into a large multiplicative model and encourages it to be trained as a sub-model to obtain additional supervision. In order to solve the weight discrepancy problem between hybrid operators, a new weight sharing method is proposed. Additionally, a novel two stage neural architecture search is used to obtain better augmentation effects for smaller but stronger multiplication-free tiny neural networks. The superiority of ShiftAddAug is validated through experiments in image classification and semantic segmentation, consistently delivering noteworthy enhancements. Remarkably, it secures up to a 4.95% increase in accuracy on the CIFAR100 compared to its directly trained counterparts, even surpassing the performance of multiplicative NNs.
• Abstract（参考訳）: ShiftやAddのような乗算を欠いたオペレータは、ハードウェアとの互換性で有名になった。 しかしながら、これらの演算子を用いるニューラルネットワーク(NN)は、通常、同じ構造を持つ従来のNNに比べて精度が低い。 ShiftAddAugは費用のかかる乗算を使い、効率は良いが非力な乗算演算子を拡張し、推論オーバーヘッドなしでパフォーマンスを向上させる。 ShiftAddの小さなNNを大きな乗法モデルに置き、追加の監視を得るためにサブモデルとしてトレーニングすることを奨励する。 ハイブリッド演算子間の重み差問題を解決するために,新しい重み共有法を提案する。 さらに、より小さいがより強力な乗算のない小さなニューラルネットワークに対して、より優れた拡張効果を得るために、2段階のニューラルアーキテクチャサーチが使用される。 ShiftAddAugの優位性は、画像分類とセマンティックセグメンテーションの実験を通じて検証され、一貫して注目すべき拡張が提供される。 注目すべきは、CIFAR100の精度が直接訓練されたものよりも最大4.95%向上し、乗算NNの性能を上回っていることだ。

関連論文リスト

• DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two Quantization [27.231327287238102]
  本稿では,シフトネットワークの精度を大幅に向上させるDenseShiftネットワークを提案する。 様々なコンピュータビジョンと音声タスクに関する実験により、DenseShiftは既存の低ビット乗算自由ネットワークよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-08-20T15:17:40Z)
• ShiftAddNAS: Hardware-Inspired Search for More Accurate and Efficient Neural Networks [42.28659737268829]
  ShiftAddNASは、より正確で効率的なNNを自動的に検索できる。 ShiftAddNASは、乗算ベースと乗算自由演算子の両方を組み込んだ最初のハイブリッド検索空間を統合する。 ShiftAddNASの有効性は実験とアブレーション研究で一貫して検証されている。
  論文  参考訳（メタデータ） (2022-05-17T06:40:13Z)
• An Empirical Study of Adder Neural Networks for Object Detection [67.64041181937624]
  加算ニューラルネットワーク(AdderNets)は、追加操作のみを伴う画像分類において、優れたパフォーマンスを示している。 本稿では,オブジェクト検出のためのAdderNetsを実証研究する。
  論文  参考訳（メタデータ） (2021-12-27T11:03:13Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• Winograd Algorithm for AdderNet [54.93995545896655]
  Adder Neural Network(AdderNet)は、畳み込みにおける元の巨大な乗算を加算によって置き換える新しい種類のディープモデルである。 本稿では,コンボリューションの高速化と計算コストの削減を目的とした高速アルゴリズムであるWinogradアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2021-05-12T09:13:34Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
  我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
  論文  参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。