論文の概要: Standing on the Shoulders of Giants: Hardware and Neural Architecture Co-Search with Hot Start

• arxiv url: http://arxiv.org/abs/2007.09087v1
• Date: Fri, 17 Jul 2020 16:09:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 12:46:29.389666
• Title: Standing on the Shoulders of Giants: Hardware and Neural Architecture Co-Search with Hot Start
• Title（参考訳）: 巨人の肩の上に立つ:ハードウェアとニューラルアーキテクチャをhot startと共同研究
• Authors: Weiwen Jiang, Lei Yang, Sakyasingha Dasgupta, Jingtong Hu, Yiyu Shi
• Abstract要約: 特定のデータセットから人工知能(AI)ソリューションを自動的に生成するハードウェアとニューラルネットワークの共同研究は、AIの民主化を促進することを約束している。 現在の共同研究フレームワークで必要とされる時間は、1つのターゲットハードウェアに対して数百時間のGPU時間である。 本稿では,既存の事前学習モデルを基にした,ホットナット状態から始まる新しいフレームワークであるHotNASを提案する。 HotNASは5.79%のTop-1と3.97%のTop-5の精度を達成できる。
• 参考スコア（独自算出の注目度）: 18.951948815942632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hardware and neural architecture co-search that automatically generates Artificial Intelligence (AI) solutions from a given dataset is promising to promote AI democratization; however, the amount of time that is required by current co-search frameworks is in the order of hundreds of GPU hours for one target hardware. This inhibits the use of such frameworks on commodity hardware. The root cause of the low efficiency in existing co-search frameworks is the fact that they start from a "cold" state (i.e., search from scratch). In this paper, we propose a novel framework, namely HotNAS, that starts from a "hot" state based on a set of existing pre-trained models (a.k.a. model zoo) to avoid lengthy training time. As such, the search time can be reduced from 200 GPU hours to less than 3 GPU hours. In HotNAS, in addition to hardware design space and neural architecture search space, we further integrate a compression space to conduct model compressing during the co-search, which creates new opportunities to reduce latency but also brings challenges. One of the key challenges is that all of the above search spaces are coupled with each other, e.g., compression may not work without hardware design support. To tackle this issue, HotNAS builds a chain of tools to design hardware to support compression, based on which a global optimizer is developed to automatically co-search all the involved search spaces. Experiments on ImageNet dataset and Xilinx FPGA show that, within the timing constraint of 5ms, neural architectures generated by HotNAS can achieve up to 5.79% Top-1 and 3.97% Top-5 accuracy gain, compared with the existing ones.
• Abstract（参考訳）: 特定のデータセットから人工知能(AI)ソリューションを自動的に生成するハードウェアとニューラルネットワークの共同研究は、AIの民主化を促進することを約束している。 これにより、コモディティハードウェアにおけるそのようなフレームワークの使用が阻害される。 既存のコリサーチフレームワークにおける低効率の根本原因は、それらが"コールド"状態(すなわち、ゼロから検索する)から始まるという事実である。 本稿では,既存の事前学習モデル(すなわちモデル動物園)のセットに基づく"ホット"状態から始まり,長い訓練時間を回避するための新しい枠組みであるhotnasを提案する。 そのため、検索時間は200GPU時間から3GPU時間未満に短縮できる。 hotnasでは、ハードウェア設計スペースとニューラルアーキテクチャ検索スペースに加えて、共同検索中にモデル圧縮を行うための圧縮スペースをさらに統合します。 重要な課題の1つは、上記のすべての検索空間が互いに結合していることだ。例えば、圧縮はハードウェア設計のサポートなしでは機能しないかもしれない。 この問題を解決するため、HotNASは、圧縮をサポートするハードウェアを設計するための一連のツールを構築している。 ImageNetデータセットとXilinx FPGAの実験によると、5msのタイミング制約の中で、HotNASによって生成されたニューラルネットワークは、既存のものと比較して最大5.79%のTop-1と3.97%のTop-5の精度向上を達成することができる。

関連論文リスト

• Hardware Aware Evolutionary Neural Architecture Search using Representation Similarity Metric [12.52012450501367]
  ハードウェア対応ニューラルアーキテクチャサーチ(ハードウェア対応ニューラルアーキテクチャサーチ、HW-NAS)は、特定のタスクとターゲットハードウェアのためにニューラルネットワークのアーキテクチャを自動的に設計する技術である。 HW-NASでは、重要な計算資源を必要とするため、候補アーキテクチャの性能を評価することが重要な課題である。 本稿では,HW-EvRSNASと呼ばれるハードウェア対応進化型NAS手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T11:58:40Z)
• Search-time Efficient Device Constraints-Aware Neural Architecture Search [6.527454079441765]
  コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。 ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。 本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
  論文  参考訳（メタデータ） (2023-07-10T09:52:28Z)
• Zero-Cost Proxies Meet Differentiable Architecture Search [20.957570100784988]
  微分可能なニューラルアーキテクチャサーチ(NAS)は近年大きな注目を集めている。 DARTSの成功にもかかわらず、一部のケースでは堅牢性に欠ける。 微分可能なNASの文脈における新しい操作選択パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-06-12T15:33:36Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• LC-NAS: Latency Constrained Neural Architecture Search for Point Cloud Networks [73.78551758828294]
  LC-NASは、最小計算コストでポイントクラウド分類のための最先端アーキテクチャを見つけることができる。 検索したアーキテクチャが、適度に低い精度で、望ましいレイテンシを実現する方法を示します。
  論文  参考訳（メタデータ） (2020-08-24T10:30:21Z)
• Latency-Aware Differentiable Neural Architecture Search [113.35689580508343]
  近年、探索コストの低さと検索空間設計の柔軟性から、微分可能なニューラルネットワーク探索法が人気を博している。 しかし、これらの手法はネットワーク最適化の難しさに悩まされており、検索されたネットワークはハードウェアに不便な場合が多い。 本稿では,この問題を最適化に微分可能な遅延損失項を追加することにより,精度とレイテンシのトレードオフをバランス係数で行うことができる。
  論文  参考訳（メタデータ） (2020-01-17T15:55:21Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。