論文の概要: NASH: Neural Architecture and Accelerator Search for Multiplication-Reduced Hybrid Models

• arxiv url: http://arxiv.org/abs/2409.04829v1
• Date: Sat, 7 Sep 2024 13:42:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 20:31:31.264982
• Title: NASH: Neural Architecture and Accelerator Search for Multiplication-Reduced Hybrid Models
• Title（参考訳）: NASH: 乗算生成ハイブリッドモデルのためのニューラルアーキテクチャとアクセラレータ探索
• Authors: Yang Xu, Huihong Shi, Zhongfeng Wang,
• Abstract要約: NASHは、乗算還元ハイブリッドモデルのためのニューラルアーキテクチャとアクセラレータ検索フレームワークである。 そこで本研究では,学習前に有望なハイブリッドモデルの事前同定を行うため,ゼロショットの調整手法を提案する。 また,検索プロセスの合理化のために,粗大な検索も導入する。
• 参考スコア（独自算出の注目度）: 6.349667343767052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The significant computational cost of multiplications hinders the deployment of deep neural networks (DNNs) on edge devices. While multiplication-free models offer enhanced hardware efficiency, they typically sacrifice accuracy. As a solution, multiplication-reduced hybrid models have emerged to combine the benefits of both approaches. Particularly, prior works, i.e., NASA and NASA-F, leverage Neural Architecture Search (NAS) to construct such hybrid models, enhancing hardware efficiency while maintaining accuracy. However, they either entail costly retraining or encounter gradient conflicts, limiting both search efficiency and accuracy. Additionally, they overlook the acceleration opportunity introduced by accelerator search, yielding sub-optimal hardware performance. To overcome these limitations, we propose NASH, a Neural architecture and Accelerator Search framework for multiplication-reduced Hybrid models. Specifically, as for NAS, we propose a tailored zero-shot metric to pre-identify promising hybrid models before training, enhancing search efficiency while alleviating gradient conflicts. Regarding accelerator search, we innovatively introduce coarse-to-fine search to streamline the search process. Furthermore, we seamlessly integrate these two levels of searches to unveil NASH, obtaining the optimal model and accelerator pairing. Experiments validate our effectiveness, e.g., when compared with the state-of-the-art multiplication-based system, we can achieve $\uparrow$$2.14\times$ throughput and $\uparrow$$2.01\times$ FPS with $\uparrow$$0.25\%$ accuracy on CIFAR-100, and $\uparrow$$1.40\times$ throughput and $\uparrow$$1.19\times$ FPS with $\uparrow$$0.56\%$ accuracy on Tiny-ImageNet. Codes are available at \url{https://github.com/xuyang527/NASH.}
• Abstract（参考訳）: 乗算の大幅な計算コストは、エッジデバイスへのディープニューラルネットワーク(DNN)の展開を妨げる。 乗算不要のモデルではハードウェア効率が向上するが、通常は精度を犠牲にする。 解決策として、両方のアプローチの利点を組み合わせるために、乗算還元ハイブリッドモデルが出現した。 特に、NASAやNASA-Fといった先行研究では、ニューラルネットワークサーチ(NAS)を利用してハイブリッドモデルを構築し、精度を維持しながらハードウェア効率を向上させる。 しかし、それらはコストのかかる再訓練や勾配の衝突に遭遇し、探索効率と精度の両方を制限している。 さらに、アクセルサーチによってもたらされる加速の機会を見落とし、準最適ハードウェア性能を得る。 これらの制約を克服するために、乗算還元ハイブリッドモデルのためのニューラルアーキテクチャとアクセラレータ検索フレームワークであるNASHを提案する。 具体的には、NASについて、トレーニング前に有望なハイブリッドモデルを事前に同定し、勾配競合を緩和しながら探索効率を向上させるため、調整されたゼロショットメトリクスを提案する。 加速器探索については,探索プロセスの合理化を図った粗大な探索を革新的に導入する。 さらに,この2つの検索レベルをシームレスに統合してNASHを公開し,最適なモデルと加速器のペアリングを得る。 実験によって、最先端の乗算ベースのシステムと比較すると、$\uparrow$2.14\times$スループットと$\uparrow$2.01\times$FPS with $\uparrow$0.25\%$CIFAR-100、$\uparrow$1.40\times$スループットと$\uparrow$1.19\times$FPS with $\uparrow$0.56\%$Tiny-ImageNetが得られる。 コードは \url{https://github.com/xuyang527/NASH で公開されている。 ※

関連論文リスト

• ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers [0.24578723416255746]
  本稿では、DARTSと呼ばれる一般的な微分可能なニューラルアーキテクチャ探索手法を応用し、近似乗算器を活用可能なニューラルアーキテクチャ探索(NAS)手法であるApproxDARTSを提案する。 ApproxDARTSは10ドル未満のGPU時間で完全なアーキテクチャ検索を実行でき、畳み込み層に近似乗算器を含む競合畳み込みニューラルネットワーク(CNN)を生成する。
  論文  参考訳（メタデータ） (2024-04-08T09:54:57Z)
• One-Shot Online Testing of Deep Neural Networks Based on Distribution Shift Detection [0.6091702876917281]
  本研究では,1つのテストベクタのみを用いて,暗黙のクロスバー上で高速化されたNNをテストできるエミフォン・ショット・テスト手法を提案する。 私たちのアプローチは、いくつかの大きなトポロジにまたがる100%のフォールトカバレッジを一貫して達成できます。
  論文  参考訳（メタデータ） (2023-05-16T11:06:09Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Accurate, Low-latency, Efficient SAR Automatic Target Recognition on FPGA [3.251765107970636]
  合成開口レーダ(SAR)自動目標認識(ATR)はリモートセンシング画像認識の鍵となる技術である。 SAR ATRのための最先端の畳み込みニューラルネットワーク(CNN)は、エンハンハイ計算コストとエンハンラージメモリフットプリントに悩まされている。 本稿では,これらの問題に対処するため,FPGA 上でモデルアーキテクチャを包括的に設計する手法を提案する。
  論文  参考訳（メタデータ） (2023-01-04T05:35:30Z)
• Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [158.19276683455254]
  アダプティブ勾配アルゴリズムは、重ボール加速の移動平均アイデアを借用し、勾配の第1次モーメントを正確に推定し、収束を加速する。 ネステロフ加速は、理論上はボール加速よりも早く収束し、多くの経験的ケースでも収束する。 本稿では,計算勾配の余分な計算とメモリオーバーヘッドを回避するため,Nesterov運動量推定法(NME)を提案する。 Adan は視覚変換器 (ViT と CNN) で対応する SoTA を上回り,多くの人気ネットワークに対して新たな SoTA を設定する。
  論文  参考訳（メタデータ） (2022-08-13T16:04:39Z)
• FNAS: Uncertainty-Aware Fast Neural Architecture Search [54.49650267859032]
  強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。 NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。 Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
  論文  参考訳（メタデータ） (2021-05-25T06:32:52Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Searching for Fast Model Families on Datacenter Accelerators [33.28421782921072]
  高速かつ高精度なCNNモデルファミリをDC加速器上での効率的な推論のために探索する。 本稿では,待ち時間と待ち時間の両方を最適化するLACS法を提案する。 我々のLACSは、ネットワークの深さが画像サイズやネットワーク幅よりもはるかに速く成長することを発見した。
  論文  参考訳（メタデータ） (2021-02-10T18:15:40Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。