Fugu-MT 論文翻訳(概要): EDD: Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions

論文の概要: EDD: Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions

arxiv url: http://arxiv.org/abs/2005.02563v1
Date: Wed, 6 May 2020 02:37:48 GMT
ステータス: 処理完了
システム内更新日: 2022-12-06 05:59:27.351793
Title: EDD: Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions
Title（参考訳）: EDD: 組み込みAIソリューションの効率的な微分可能なDNNアーキテクチャと実装共同研究
Authors: Yuhong Li, Cong Hao, Xiaofan Zhang, Xinheng Liu, Yao Chen, Jinjun Xiong, Wen-mei Hwu, Deming Chen
Abstract要約: 本稿では,完全同時かつ効率的なDNNアーキテクチャと実装共同研究手法を提案する。探索変数とハードウェア実装変数を1つの解空間に融合させることにより,共同探索問題を定式化し,アルゴリズムの精度とハードウェア実装品質を最大化する。
参考スコア（独自算出の注目度）: 40.32848001349242
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: High quality AI solutions require joint optimization of AI algorithms and their hardware implementations. In this work, we are the first to propose a fully simultaneous, efficient differentiable DNN architecture and implementation co-search (EDD) methodology. We formulate the co-search problem by fusing DNN search variables and hardware implementation variables into one solution space, and maximize both algorithm accuracy and hardware implementation quality. The formulation is differentiable with respect to the fused variables, so that gradient descent algorithm can be applied to greatly reduce the search time. The formulation is also applicable for various devices with different objectives. In the experiments, we demonstrate the effectiveness of our EDD methodology by searching for three representative DNNs, targeting low-latency GPU implementation and FPGA implementations with both recursive and pipelined architectures. Each model produced by EDD achieves similar accuracy as the best existing DNN models searched by neural architecture search (NAS) methods on ImageNet, but with superior performance obtained within 12 GPU-hour searches. Our DNN targeting GPU is 1.40x faster than the state-of-the-art solution reported in Proxyless, and our DNN targeting FPGA delivers 1.45x higher throughput than the state-of-the-art solution reported in DNNBuilder.
Abstract（参考訳）: 高品質なAIソリューションは、AIアルゴリズムとそのハードウェア実装を共同で最適化する必要がある。本研究では,完全同時かつ効率的なDNNアーキテクチャと実装共同研究手法を提案する。本稿では,DNN探索変数とハードウェア実装変数を1つの解空間に融合することにより,共同探索問題を定式化し,アルゴリズムの精度とハードウェア実装品質を最大化する。定式化は融合変数に対して微分可能であり、勾配降下アルゴリズムを適用して探索時間を大幅に短縮することができる。この定式化は、異なる目的を持つ様々なデバイスにも適用できる。実験では、3つの代表的DNNを探索し、再帰的アーキテクチャとパイプラインアーキテクチャの両方で低遅延GPU実装とFPGA実装をターゲットとしたEDD手法の有効性を実証した。 EDDによって生成された各モデルは、ImageNet上のニューラルアーキテクチャサーチ(NAS)メソッドで検索される既存のDNNモデルと同様の精度を達成するが、12GPU時間サーチで得られる優れた性能を持つ。我々のDNNターゲットGPUは、Proxylessで報告された最先端ソリューションよりも1.40倍高速で、FPGAをターゲットにしたDNNは、DNNBuilderで報告された最先端ソリューションよりも1.45倍高いスループットを提供する。

関連論文リスト

PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization [3.460496851517031]
PLiNIOは、最先端のDNN設計自動化技術を包括的に実装したオープンソースライブラリである。 PLiNIOは、ベースラインアーキテクチャと比較して最大94.34%のメモリ削減を実現し、1%の精度低下を実現している。
論文参考訳（メタデータ） (2023-07-18T07:11:14Z)
Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
論文参考訳（メタデータ） (2023-06-13T15:21:38Z)
Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文参考訳（メタデータ） (2021-11-22T23:53:14Z)
HAO: Hardware-aware neural Architecture Optimization for Efficient Inference [25.265181492143107]
ニューラルネットワーク探索アルゴリズムの設計空間を縮小するための整数プログラミングアルゴリズムを開発する。私たちのアルゴリズムは、フレームレート50でImageNetの72.5%のトップ-1精度を達成し、MnasNetよりも60%高速で、比較精度でFBNetよりも135%高速です。
論文参考訳（メタデータ） (2021-04-26T17:59:29Z)
OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-03-08T01:48:53Z)
ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2020-10-13T04:34:24Z)
AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-16T13:27:30Z)
DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。