論文の概要: Rethinking Co-design of Neural Architectures and Hardware Accelerators

• arxiv url: http://arxiv.org/abs/2102.08619v1
• Date: Wed, 17 Feb 2021 07:55:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-19 01:30:29.500647
• Title: Rethinking Co-design of Neural Architectures and Hardware Accelerators
• Title（参考訳）: ニューラルアーキテクチャとハードウェアアクセラレータの共設計再考
• Authors: Yanqi Zhou, Xuanyi Dong, Berkin Akin, Mingxing Tan, Daiyi Peng, Tianjian Meng, Amir Yazdanbakhsh, Da Huang, Ravi Narayanaswami, James Laudon
• Abstract要約: 我々は,ニューラルアーキテクチャとハードウェアアクセラレータの協調設計の重要性と戦略を体系的に研究する。 実験の結果, 統合探索法は, 従来のプラットフォーム認識型ニューラルアーキテクチャ検索を一貫して上回っていることがわかった。 提案手法は, エッジ加速器のエネルギー消費量を, 同じ精度で最大2倍に削減できる。
• 参考スコア（独自算出の注目度）: 31.342964958282092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural architectures and hardware accelerators have been two driving forces for the progress in deep learning. Previous works typically attempt to optimize hardware given a fixed model architecture or model architecture given fixed hardware. And the dominant hardware architecture explored in this prior work is FPGAs. In our work, we target the optimization of hardware and software configurations on an industry-standard edge accelerator. We systematically study the importance and strategies of co-designing neural architectures and hardware accelerators. We make three observations: 1) the software search space has to be customized to fully leverage the targeted hardware architecture, 2) the search for the model architecture and hardware architecture should be done jointly to achieve the best of both worlds, and 3) different use cases lead to very different search outcomes. Our experiments show that the joint search method consistently outperforms previous platform-aware neural architecture search, manually crafted models, and the state-of-the-art EfficientNet on all latency targets by around 1% on ImageNet top-1 accuracy. Our method can reduce energy consumption of an edge accelerator by up to 2x under the same accuracy constraint, when co-adapting the model architecture and hardware accelerator configurations.
• Abstract（参考訳）: ニューラルアーキテクチャとハードウェアアクセラレーターは、ディープラーニングの進歩の推進力として2つある。 以前は、固定モデルアーキテクチャや固定ハードウェアのモデルアーキテクチャが与えられた場合、ハードウェアを最適化しようとしていた。 そして、この先行研究で探索されたハードウェアアーキテクチャはFPGAである。 本研究は,業界標準エッジアクセラレータ上でのハードウェアおよびソフトウェア構成の最適化を目標とする。 我々は,ニューラルアーキテクチャとハードウェアアクセラレータの協調設計の重要性と戦略を体系的に研究する。 1) 対象とするハードウェアアーキテクチャをフル活用するためにソフトウェア検索空間をカスタマイズしなければならないこと,2) モデルアーキテクチャとハードウェアアーキテクチャの検索を,両世界のベストを達成するために共同で行うこと,3) 異なるユースケースが,非常に異なる検索結果をもたらすこと,の3つの観察を行う。 提案手法は,従来のプラットフォーム認識型ニューラルネットワーク検索,手作業によるモデル,およびimagenet top-1精度の約1%の遅延目標に対する最先端の効率性に一貫して優れることを示す。 本手法は,モデルアーキテクチャとハードウェアアクセラレータ構成を併用することで,エッジアクセラレータのエネルギー消費を,同じ精度制約下で最大2倍削減することができる。

関連論文リスト

• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• Hardware Aware Evolutionary Neural Architecture Search using Representation Similarity Metric [12.52012450501367]
  ハードウェア対応ニューラルアーキテクチャサーチ(ハードウェア対応ニューラルアーキテクチャサーチ、HW-NAS)は、特定のタスクとターゲットハードウェアのためにニューラルネットワークのアーキテクチャを自動的に設計する技術である。 HW-NASでは、重要な計算資源を必要とするため、候補アーキテクチャの性能を評価することが重要な課題である。 本稿では,HW-EvRSNASと呼ばれるハードウェア対応進化型NAS手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T11:58:40Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• Algorithm and Hardware Co-design for Reconfigurable CNN Accelerator [3.1431240233552007]
  ディープニューラルネットワーク(DNN)のためのアルゴリズムハードウェアの共同設計の最近の進歩は、ニューラルネットワークやハードウェア設計を自動設計する可能性を示している。 しかし、高価なトレーニングコストと時間を要するハードウェア実装のため、これは依然として困難な最適化問題である。 本稿では,新しい3相共設計フレームワークを提案する。 ネットワークとハードウェアの構成は精度が2%向上し,レイテンシが2倍26倍,エネルギー効率が8.5倍向上した。
  論文  参考訳（メタデータ） (2021-11-24T20:37:50Z)
• ISyNet: Convolutional Neural Networks design for AI accelerator [0.0]
  現在の最先端アーキテクチャは、モデル複雑さを考慮して、ニューラルアーキテクチャサーチ(NAS)によって発見されている。 本稿では,ニューラルネットワーク探索空間のハードウェア効率の指標として,行列効率測定(MEM),ハードウェア効率の高い演算からなる探索空間,レイテンシを考慮したスケーリング手法を提案する。 我々は、ImageNet上のNPUデバイスの設計アーキテクチャと、下流の分類および検出タスクの一般化能力の利点を示す。
  論文  参考訳（メタデータ） (2021-09-04T20:57:05Z)
• Does Form Follow Function? An Empirical Exploration of the Impact of Deep Neural Network Architecture Design on Hardware-Specific Acceleration [76.35307867016336]
  本研究では,深層ニューラルネットワーク設計が推論速度向上の程度に与える影響について検討する。 ハードウェア固有のアクセラレーションを活用することで平均推論速度が380%向上する一方で、マクロアーキテクチャ設計パターンによって推論速度が大幅に変化することを示した。
  論文  参考訳（メタデータ） (2021-07-08T23:05:39Z)
• Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets [93.79297053429447]
  既存の手法は、しばしばそれぞれの目標予算を独立したアーキテクチャで検索する。 モデル推論のみで任意の予算で効率的なアーキテクチャを自動生成する汎用アーキテクチャ生成器を提案する。 3つのプラットフォーム(モバイル、CPU、GPUなど)における広範な実験は、提案手法が既存のNAS法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-27T13:59:17Z)
• Hardware-Centric AutoML for Mixed-Precision Quantization [34.39845532939529]
  従来の量子化アルゴリズムは、異なるハードウェアアーキテクチャを無視し、すべてのレイヤを均一に量子化する。 本稿では、強化学習を利用して量子化ポリシーを自動的に決定するハードウェア・アウェア自動量子化(HAQ)フレームワークを紹介する。 本フレームワークは, 固定ビット幅(8ビット)の量子化と比較して, 遅延を1.4-1.95x, エネルギー消費を1.9x削減した。
  論文  参考訳（メタデータ） (2020-08-11T17:30:22Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。