論文の概要: Latency-Aware Differentiable Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2001.06392v2
- Date: Thu, 26 Mar 2020 02:20:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 12:36:11.104330
- Title: Latency-Aware Differentiable Neural Architecture Search
- Title（参考訳）: レイテンシアウェアな微分可能なニューラルネットワークの検索
- Authors: Yuhui Xu, Lingxi Xie, Xiaopeng Zhang, Xin Chen, Bowen Shi, Qi Tian,
Hongkai Xiong
- Abstract要約: 近年、探索コストの低さと検索空間設計の柔軟性から、微分可能なニューラルネットワーク探索法が人気を博している。
しかし、これらの手法はネットワーク最適化の難しさに悩まされており、検索されたネットワークはハードウェアに不便な場合が多い。
本稿では,この問題を最適化に微分可能な遅延損失項を追加することにより,精度とレイテンシのトレードオフをバランス係数で行うことができる。
- 参考スコア（独自算出の注目度）: 113.35689580508343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable neural architecture search methods became popular in recent
years, mainly due to their low search costs and flexibility in designing the
search space. However, these methods suffer the difficulty in optimizing
network, so that the searched network is often unfriendly to hardware. This
paper deals with this problem by adding a differentiable latency loss term into
optimization, so that the search process can tradeoff between accuracy and
latency with a balancing coefficient. The core of latency prediction is to
encode each network architecture and feed it into a multi-layer regressor, with
the training data which can be easily collected from randomly sampling a number
of architectures and evaluating them on the hardware. We evaluate our approach
on NVIDIA Tesla-P100 GPUs. With 100K sampled architectures (requiring a few
hours), the latency prediction module arrives at a relative error of lower than
10%. Equipped with this module, the search method can reduce the latency by 20%
meanwhile preserving the accuracy. Our approach also enjoys the ability of
being transplanted to a wide range of hardware platforms with very few efforts,
or being used to optimizing other non-differentiable factors such as power
consumption.
- Abstract（参考訳）: 近年、検索コストの低さと検索空間の設計の柔軟性から、差別化可能なニューラルネットワーク検索手法が普及した。
しかし、これらの手法はネットワークの最適化が困難であり、検索されたネットワークはハードウェアに不向きであることが多い。
本稿では,この問題を最適化に微分可能な遅延損失項を追加することにより,精度とレイテンシをバランス係数でトレードオフすることができる。
遅延予測のコアとなるのは、複数のアーキテクチャをランダムにサンプリングしてハードウェア上で評価することから容易に収集できるトレーニングデータを使って、各ネットワークアーキテクチャをエンコードし、それを多層回帰器にフィードすることだ。
NVIDIA Tesla-P100 GPUに対する我々のアプローチを評価する。
100Kのサンプルアーキテクチャ(数時間要求)では、レイテンシ予測モジュールが10%未満の相対エラーに到達する。
このモジュールを組み込んだ検索手法では,精度を保ちながら遅延を20%削減することができる。
当社のアプローチは,非常に少ない労力で幅広いハードウェアプラットフォームに移植したり,消費電力などの他の非差別要因を最適化する能力も享受しています。
関連論文リスト
- On Latency Predictors for Neural Architecture Search [8.564763702766776]
本稿では,ハードウェア・デバイス・セットの自動分割による遅延予測タスクの包括的スイートについて紹介する。
次に,(1)予測器アーキテクチャ,(2)NNサンプル選択方法,(3)ハードウェアデバイス表現,(4)NN動作符号化方式を総合的に研究するために,一般遅延予測器を設計する。
本稿では,本研究の結論に基づいて,エンドツーエンドの遅延予測学習戦略を提案する。
論文 参考訳（メタデータ） (2024-03-04T19:59:32Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳（メタデータ） (2023-08-30T10:57:41Z) - Latency-aware Spatial-wise Dynamic Networks [33.88843632160247]
深層ネットワークのための遅延認識型空間的動的ネットワーク(LASNet)を提案する。
LASNetは、新しい遅延予測モデルのガイダンスに基づき、粗粒度空間適応推論を行う。
画像分類,オブジェクト検出,インスタンスセグメンテーションの実験により,提案手法はディープネットワークの実用的な推論効率を大幅に向上させることを示した。
論文 参考訳（メタデータ） (2022-10-12T14:09:27Z) - MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。
評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。
転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
論文 参考訳（メタデータ） (2021-11-30T03:52:15Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - Towards Improving the Consistency, Efficiency, and Flexibility of
Differentiable Neural Architecture Search [84.4140192638394]
最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。
本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。
また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
論文 参考訳（メタデータ） (2021-01-27T12:16:47Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-13T04:34:24Z) - DANCE: Differentiable Accelerator/Network Co-Exploration [8.540518473228078]
この研究は、ハードウェアアクセラレーターとネットワークアーキテクチャ設計の共同探索に向けた異なるアプローチを示す。
ハードウェア評価ソフトウェアをニューラルネットワークでモデル化することにより、アクセラレーションアーキテクチャとハードウェアメトリクスの関係は微分可能となる。
提案手法は,既存手法と比較して,精度とハードウェアコストの指標を向上しつつ,比較的短い時間で共同探索を行う。
論文 参考訳（メタデータ） (2020-09-14T07:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。