論文の概要: NASH: Neural Architecture Search for Hardware-Optimized Machine Learning Models

• arxiv url: http://arxiv.org/abs/2403.01845v1
• Date: Mon, 4 Mar 2024 08:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 19:25:12.764874
• Title: NASH: Neural Architecture Search for Hardware-Optimized Machine Learning Models
• Title（参考訳）: NASH:ハードウェア最適化機械学習モデルのためのニューラルネットワーク検索
• Authors: Mengfei Ji, Zaid Al-Ars
• Abstract要約: NASHは、ニューラルネットワーク検索を機械学習ハードウェアに適用する新しいアプローチである。 本稿では,NASH戦略の4つのバージョンについて述べる。 その結果,FINNの最大スループットは324.5fpsであることがわかった。
• 参考スコア（独自算出の注目度）: 1.1911454732543614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine learning (ML) algorithms get deployed in an ever-increasing number of applications, these algorithms need to achieve better trade-offs between high accuracy, high throughput and low latency. This paper introduces NASH, a novel approach that applies neural architecture search to machine learning hardware. Using NASH, hardware designs can achieve not only high throughput and low latency but also superior accuracy performance. We present four versions of the NASH strategy in this paper, all of which show higher accuracy than the original models. The strategy can be applied to various convolutional neural networks, selecting specific model operations among many to guide the training process toward higher accuracy. Experimental results show that applying NASH on ResNet18 or ResNet34 achieves a top 1 accuracy increase of up to 3.1% and a top 5 accuracy increase of up to 2.2% compared to the non-NASH version when tested on the ImageNet data set. We also integrated this approach into the FINN hardware model synthesis tool to automate the application of our approach and the generation of the hardware model. Results show that using FINN can achieve a maximum throughput of 324.5 fps. In addition, NASH models can also result in a better trade-off between accuracy and hardware resource utilization. The accuracy-hardware (HW) Pareto curve shows that the models with the four NASH versions represent the best trade-offs achieving the highest accuracy for a given HW utilization. The code for our implementation is open-source and publicly available on GitHub at https://github.com/MFJI/NASH.
• Abstract（参考訳）: 機械学習(ML)アルゴリズムがますます増加するアプリケーションにデプロイされるにつれて、これらのアルゴリズムは高い正確性、高いスループット、低レイテンシの間のトレードオフをよりよいものにする必要がある。 本稿では、ニューラルネットワークを機械学習ハードウェアに適用する新しいアプローチであるnashを紹介する。 NASHを使うことで、ハードウェア設計は高いスループットと低レイテンシを実現するだけでなく、精度も向上する。 本稿では,nash戦略の4つのバージョンについて述べる。 この戦略は、様々な畳み込みニューラルネットワークに適用することができ、トレーニングプロセスをより高精度に導くために、多数のモデル操作を選択することができる。 実験の結果、ResNet18やResNet34にNASHを適用すると、ImageNetデータセットでテストすると、トップ1の精度が最大3.1%、トップ5の精度が最大2.2%向上することがわかった。 また、このアプローチをfinnハードウェアモデル合成ツールに統合し、このアプローチの適用とハードウェアモデルの生成を自動化する。 その結果,FINNの最大スループットは324.5fpsであることがわかった。 さらにnashモデルでは、精度とハードウェアリソース利用のトレードオフも改善される可能性がある。 精度ハードウェア(HW)パレート曲線は、4つのNASHバージョンを持つモデルが与えられたHW利用率で最高の精度を達成する最良のトレードオフであることを示している。 私たちの実装のコードはオープンソースで、GitHubでhttps://github.com/MFJI/NASHで公開されています。

関連論文リスト

• FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search [50.07268323597872]
  本稿では,整数浮動小数点モデルと低精度浮動小数点モデルの両方において再学習を不要とする,最初のワンショット混合量子化探索を提案する。 整数モデルでは、ImageNet上のResNet-18の精度を1.31%、ResNet-50の精度を0.90%向上させる。 従来のFP8モデルと比較して,新しい混合精度浮動小数点探索を探索し,最大0.98%改善した。
  論文  参考訳（メタデータ） (2023-08-07T04:17:19Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• HAO: Hardware-aware neural Architecture Optimization for Efficient Inference [25.265181492143107]
  ニューラルネットワーク探索アルゴリズムの設計空間を縮小するための整数プログラミングアルゴリズムを開発する。 私たちのアルゴリズムは、フレームレート50でImageNetの72.5%のトップ-1精度を達成し、MnasNetよりも60%高速で、比較精度でFBNetよりも135%高速です。
  論文  参考訳（メタデータ） (2021-04-26T17:59:29Z)
• PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search [0.0]
  ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。 NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。 本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
  論文  参考訳（メタデータ） (2021-01-11T20:49:55Z)
• Toward Accurate Platform-Aware Performance Modeling for Deep Neural Networks [0.17499351967216337]
  機械学習に基づくPerfNetV2は、さまざまなGPUアクセラレータ上でのニューラルネットワークのパフォーマンスをモデル化するための、これまでの作業の精度を向上させる。 アプリケーションを利用すると、アプリケーションで使用される畳み込みニューラルネットワークの推論時間とトレーニング時間を予測することができる。 我々のケーススタディでは、PerfNetV2が13.1%のLeNet、AlexNet、VGG16、NVIDIA GTX-1080Tiで平均絶対パーセンテージエラーを発生し、ICBD 2018で発表された以前の研究のエラー率は200%に達する可能性がある。
  論文  参考訳（メタデータ） (2020-12-01T01:42:23Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• Tidying Deep Saliency Prediction Architectures [6.613005108411055]
  本稿では,入力特徴,マルチレベル統合,読み出しアーキテクチャ,損失関数の4つの主成分を同定する。 我々はSimpleNet と MDNSal という2つの新しいエンドツーエンドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-10T19:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。