論文の概要: HSCoNAS: Hardware-Software Co-Design of Efficient DNNs via Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2103.08325v1
• Date: Thu, 11 Mar 2021 12:21:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 14:01:02.369172
• Title: HSCoNAS: Hardware-Software Co-Design of Efficient DNNs via Neural Architecture Search
• Title（参考訳）: HSCoNAS: ニューラルネットワークによる効率的なDNNのハードウェアソフトウェア共同設計
• Authors: Xiangzhong Luo, Di Liu, Shuo Huai, and Weichen Liu
• Abstract要約: 深層ニューラルネットワーク(DNN)の設計を自動化するため,新しいハードウェア対応ニューラルアーキテクチャサーチ(NAS)フレームワークであるHSCoNASを提案する。 この目的を達成するために,まず,ターゲットハードウェア上でのdnnのランタイム遅延を近似する効果的なハードウェア性能モデリング手法を提案する。 また, 動的チャネルスケーリングにより, 指定されたレイテンシとプログレッシブスペースの縮小下での精度を最大化し, 対象ハードウェアに対する検索空間を改良する手法を提案する。
• 参考スコア（独自算出の注目度）: 6.522258468923919
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we present a novel multi-objective hardware-aware neural architecture search (NAS) framework, namely HSCoNAS, to automate the design of deep neural networks (DNNs) with high accuracy but low latency upon target hardware. To accomplish this goal, we first propose an effective hardware performance modeling method to approximate the runtime latency of DNNs on target hardware, which will be integrated into HSCoNAS to avoid the tedious on-device measurements. Besides, we propose two novel techniques, i.e., dynamic channel scaling to maximize the accuracy under the specified latency and progressive space shrinking to refine the search space towards target hardware as well as alleviate the search overheads. These two techniques jointly work to allow HSCoNAS to perform fine-grained and efficient explorations. Finally, an evolutionary algorithm (EA) is incorporated to conduct the architecture search. Extensive experiments on ImageNet are conducted upon diverse target hardware, i.e., GPU, CPU, and edge device to demonstrate the superiority of HSCoNAS over recent state-of-the-art approaches.
• Abstract（参考訳）: 本論文では,HDN(Deep Neural Network, DNN)の設計を高精度かつターゲットハードウェア上で低遅延で自動化する,新規なマルチオブジェクト型ハードウェアアウェアニューラルネットワーク探索(NAS)フレームワークであるHSCoNASを提案する。 この目的を達成するために、我々はまず、ターゲットハードウェア上でのDNNのランタイム遅延を近似する効果的なハードウェア性能モデリング手法を提案し、この手法をHSCoNASに統合して、面倒なオンデバイス計測を避ける。 また, 動的チャネルスケーリングにより, 特定遅延下での精度を最大化し, プログレッシブスペースを縮小し, 対象ハードウェアに対する検索空間を改良し, 検索オーバーヘッドを緩和する, という2つの新しい手法を提案する。 これら2つの技術は、HSCoNASが微細で効率的な探査を行うために共同で働く。 最後に、アーキテクチャ検索を行うために進化的アルゴリズム(EA)が組み込まれている。 ImageNetの広範な実験は、GPU、CPU、エッジデバイスなどの多様なターゲットハードウェア上で行われ、最新のアプローチと比較してHSCoNASの優位性を示しています。

関連論文リスト

• Combining Neural Architecture Search and Automatic Code Optimization: A Survey [0.8796261172196743]
  ハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)と自動コード最適化(ACO)の2つの特長がある。 HW-NASは正確だがハードウェアフレンドリなニューラルネットワークを自動設計する。 この調査では、これらの2つのテクニックをひとつのフレームワークで組み合わせた最近の研究について調査する。
  論文  参考訳（メタデータ） (2024-08-07T22:40:05Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• Hardware Aware Evolutionary Neural Architecture Search using Representation Similarity Metric [12.52012450501367]
  ハードウェア対応ニューラルアーキテクチャサーチ(ハードウェア対応ニューラルアーキテクチャサーチ、HW-NAS)は、特定のタスクとターゲットハードウェアのためにニューラルネットワークのアーキテクチャを自動的に設計する技術である。 HW-NASでは、重要な計算資源を必要とするため、候補アーキテクチャの性能を評価することが重要な課題である。 本稿では,HW-EvRSNASと呼ばれるハードウェア対応進化型NAS手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T11:58:40Z)
• MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
  ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。 ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:08:20Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Algorithm and Hardware Co-design for Reconfigurable CNN Accelerator [3.1431240233552007]
  ディープニューラルネットワーク(DNN)のためのアルゴリズムハードウェアの共同設計の最近の進歩は、ニューラルネットワークやハードウェア設計を自動設計する可能性を示している。 しかし、高価なトレーニングコストと時間を要するハードウェア実装のため、これは依然として困難な最適化問題である。 本稿では,新しい3相共設計フレームワークを提案する。 ネットワークとハードウェアの構成は精度が2%向上し,レイテンシが2倍26倍,エネルギー効率が8.5倍向上した。
  論文  参考訳（メタデータ） (2021-11-24T20:37:50Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• ISyNet: Convolutional Neural Networks design for AI accelerator [0.0]
  現在の最先端アーキテクチャは、モデル複雑さを考慮して、ニューラルアーキテクチャサーチ(NAS)によって発見されている。 本稿では,ニューラルネットワーク探索空間のハードウェア効率の指標として,行列効率測定(MEM),ハードウェア効率の高い演算からなる探索空間,レイテンシを考慮したスケーリング手法を提案する。 我々は、ImageNet上のNPUデバイスの設計アーキテクチャと、下流の分類および検出タスクの一般化能力の利点を示す。
  論文  参考訳（メタデータ） (2021-09-04T20:57:05Z)
• FLASH: Fast Neural Architecture Search with Hardware Optimization [7.263481020106725]
  ニューラルアーキテクチャサーチ(NAS)は、効率的かつ高性能なディープニューラルネットワーク(DNN)を設計するための有望な手法である 本稿では,実ハードウェアプラットフォーム上でのDNNの精度と性能を協調的に最適化する,非常に高速なNAS手法であるFLASHを提案する。
  論文  参考訳（メタデータ） (2021-08-01T23:46:48Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。