Fugu-MT 論文翻訳(概要): BOMP-NAS: Bayesian Optimization Mixed Precision NAS

論文の概要: BOMP-NAS: Bayesian Optimization Mixed Precision NAS

arxiv url: http://arxiv.org/abs/2301.11810v1
Date: Fri, 27 Jan 2023 16:04:34 GMT
ステータス: 処理完了
システム内更新日: 2023-01-30 15:00:58.612597
Title: BOMP-NAS: Bayesian Optimization Mixed Precision NAS
Title（参考訳）: BOMP-NAS:ベイズ最適化混合精度NAS
Authors: David van Son, Floran de Putter, Sebastian Vogel, Henk Corporaal
Abstract要約: BOMP-NASは、設計コストをはるかに低くして、最先端のアートパフォーマンスを実現するニューラルネットワークを見つけることができる。 BOMP-NASは、最も近い関連する研究の6倍短い検索時間でこれらのニューラルネットワークを見つけることができる。
参考スコア（独自算出の注目度）: 2.53488567499651
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Bayesian Optimization Mixed-Precision Neural Architecture Search (BOMP-NAS) is an approach to quantization-aware neural architecture search (QA-NAS) that leverages both Bayesian optimization (BO) and mixed-precision quantization (MP) to efficiently search for compact, high performance deep neural networks. The results show that integrating quantization-aware fine-tuning (QAFT) into the NAS loop is a necessary step to find networks that perform well under low-precision quantization: integrating it allows a model size reduction of nearly 50\% on the CIFAR-10 dataset. BOMP-NAS is able to find neural networks that achieve state of the art performance at much lower design costs. This study shows that BOMP-NAS can find these neural networks at a 6x shorter search time compared to the closest related work.
Abstract（参考訳）: Bayesian Optimization Mixed-Precision Neural Architecture Search (BOMP-NAS) は、ベイズ最適化(BO)と混合精度量子化(MP)の両方を活用する量子化対応ニューラルネットワーク探索(QA-NAS)のアプローチである。その結果、NASループに量子化対応微調整(QAFT)を組み込むことは、低精度量子化の下で良好に動作するネットワークを見つけるために必要なステップであることが示唆された。 BOMP-NASは、設計コストをはるかに低くして、最先端のアートパフォーマンスを実現するニューラルネットワークを見つけることができる。本研究は,BOMP-NASがこれらのニューラルネットワークを,最も近い関連研究に比べて6倍短い検索時間で見つけることができることを示した。

関連論文リスト

RNC: Efficient RRAM-aware NAS and Compilation for DNNs on Resource-Constrained Edge Devices [0.30458577208819987]
我々は抵抗性ランダムアクセスメモリ(RRAM)に基づく加速器のためのエッジフレンドリーなディープニューラルネットワーク(DNN)の開発を目指している。本稿では,特定のハードウェア制約を満たす最適化ニューラルネットワークを探索するための,エッジコンパイルとリソース制約付きRRAM対応ニューラルネットワーク探索(NAS)フレームワークを提案する。 NASが速度に最適化した結果のモデルは5x-30倍のスピードアップを達成した。
論文参考訳（メタデータ） (2024-09-27T15:35:36Z)
LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文参考訳（メタデータ） (2024-01-26T05:23:11Z)
Low Precision Quantization-aware Training in Spiking Neural Networks with Differentiable Quantization Function [0.5046831208137847]
この研究は、量子化されたニューラルネットワークの最近の進歩とスパイクニューラルネットワークのギャップを埋めることを目的としている。これは、シグモイド関数の線形結合として表される量子化関数の性能に関する広範な研究を示す。提案した量子化関数は、4つの人気のあるベンチマーク上での最先端のパフォーマンスを示す。
論文参考訳（メタデータ） (2023-05-30T09:42:05Z)
NAS-PRNet: Neural Architecture Search generated Phase Retrieval Net for Off-axis Quantitative Phase Imaging [5.943105097884823]
ニューラルアーキテクチャ探索(NAS)生成相検索ネット(NAS-PRNet)を提案する。 NAS-PRNetはエンコーダ-デコーダスタイルのニューラルネットワークで、大規模なニューラルネットワークアーキテクチャ検索空間から自動的に見つける。 NAS-PRNetはPak Signal-to-Noise Ratio (PSNR)の36.1dBを達成した。
論文参考訳（メタデータ） (2022-10-25T16:16:41Z)
Neural Architecture Search for Improving Latency-Accuracy Trade-off in Split Computing [5.516431145236317]
スプリットコンピューティングは、IoTシステムにディープラーニングをデプロイする際のプライバシとレイテンシの問題に対処する、新たな機械学習推論技術である。スプリットコンピューティングでは、ニューラルネットワークモデルは、エッジサーバとIoTデバイスをネットワークを介して分離し、協調的に処理される。本稿ではスプリットコンピューティングのためのニューラルアーキテクチャサーチ(NAS)手法を提案する。
論文参考訳（メタデータ） (2022-08-30T03:15:43Z)
Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
論文参考訳（メタデータ） (2020-10-27T18:08:57Z)
MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文参考訳（メタデータ） (2020-09-29T11:56:01Z)
Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文参考訳（メタデータ） (2020-09-18T09:13:26Z)
FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文参考訳（メタデータ） (2020-06-03T05:20:21Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。