論文の概要: Scaling Up Quantization-Aware Neural Architecture Search for Efficient Deep Learning on the Edge

• arxiv url: http://arxiv.org/abs/2401.12350v1
• Date: Mon, 22 Jan 2024 20:32:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 17:45:52.521888
• Title: Scaling Up Quantization-Aware Neural Architecture Search for Efficient Deep Learning on the Edge
• Title（参考訳）: エッジ上の効率的なディープラーニングのための量子化アウェアニューラルアーキテクチャ探索のスケールアップ
• Authors: Yao Lu, Hiram Rayo Torres Rodriguez, Sebastian Vogel, Nick van de Waterlaat, Pavol Jancura
• Abstract要約: 本稿では,ブロックワイズNASによって導入されたブロックワイズ式を利用して,大規模タスクにおけるQA-NAS(INT8とFB-MP)を実現する手法を提案する。 本研究では,Cityscapesデータセット上のセマンティックセグメンテーションタスクについて,FB-MPモデルが33%小さく,INT8モデルがタスク性能を損なうことなく,DeepLabV3(INT8)よりも17.6%高速であることを示す。
• 参考スコア（独自算出の注目度）: 3.1878884714257008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) has become the de-facto approach for designing accurate and efficient networks for edge devices. Since models are typically quantized for edge deployment, recent work has investigated quantization-aware NAS (QA-NAS) to search for highly accurate and efficient quantized models. However, existing QA-NAS approaches, particularly few-bit mixed-precision (FB-MP) methods, do not scale to larger tasks. Consequently, QA-NAS has mostly been limited to low-scale tasks and tiny networks. In this work, we present an approach to enable QA-NAS (INT8 and FB-MP) on large-scale tasks by leveraging the block-wise formulation introduced by block-wise NAS. We demonstrate strong results for the semantic segmentation task on the Cityscapes dataset, finding FB-MP models 33% smaller and INT8 models 17.6% faster than DeepLabV3 (INT8) without compromising task performance.
• Abstract（参考訳）: ニューラルアーキテクチャ検索(nas)は、エッジデバイスのための正確で効率的なネットワークを設計するためのデファクトのアプローチとなっている。 モデルは通常、エッジ配置のために量子化されるため、最近の研究は、高精度で効率的な量子化モデルを探すための量子化対応NAS(QA-NAS)を調査している。 しかし、既存のQA-NASアプローチ、特にFB-MP法は、より大きなタスクにスケールしない。 その結果、QA-NASは低スケールのタスクや小さなネットワークに限られている。 本研究では,ブロックワイズNASによって導入されたブロックワイズ式を利用して,大規模タスクにおけるQA-NAS(INT8とFB-MP)を実現する手法を提案する。 本研究では,Cityscapesデータセット上のセマンティックセグメンテーションタスクについて,FB-MPモデルが33%小さく,INT8モデルがタスク性能を損なうことなく,DeepLabV3(INT8)よりも17.6%高速であることを示す。

関連論文リスト

• Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
  我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
  論文  参考訳（メタデータ） (2024-11-21T02:43:32Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• FrostNet: Towards Quantization-Aware Network Architecture Search [8.713741951284886]
  本稿では,フル精度(FLOAT32)と量子化(INT8)の両性能を保証するネットワークを見つけるための新しいネットワークアーキテクチャサーチ(NAS)手法を提案する。 我々のFrostNetsは、量子化時に同等のレイテンシを持つ既存のCNNよりも高い認識精度を実現する。
  論文  参考訳（メタデータ） (2020-06-17T06:40:43Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。