論文の概要: Tiered Pruning for Efficient Differentialble Inference-Aware Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2209.11785v1
• Date: Fri, 23 Sep 2022 18:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 16:51:43.124046
• Title: Tiered Pruning for Efficient Differentialble Inference-Aware Neural Architecture Search
• Title（参考訳）: 階層型プルーニングによる効率的な微分可能推論・認識型ニューラルネットワーク探索
• Authors: S{\l}awomir Kierat, Mateusz Sieniawski, Denys Fridman, Chen-Han Yu, Szymon Migacz, Pawe{\l} Morkisz, Alex-Fit Florea
• Abstract要約: 我々は、メモリと計算の複雑さで内部の隠された次元を探索できるDNASのための双方向構築ブロックを紹介した。 第2に,探索中にスーパーネットの層内でブロックを刈り取るアルゴリズムを提案する。 第3に,探索中に不要な層を刈り取る新しい手法について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose three novel pruning techniques to improve the cost and results of inference-aware Differentiable Neural Architecture Search (DNAS). First, we introduce , a stochastic bi-path building block for DNAS, which can search over inner hidden dimensions with memory and compute complexity. Second, we present an algorithm for pruning blocks within a stochastic layer of the SuperNet during the search. Third, we describe a novel technique for pruning unnecessary stochastic layers during the search. The optimized models resulting from the search are called PruNet and establishes a new state-of-the-art Pareto frontier for NVIDIA V100 in terms of inference latency for ImageNet Top-1 image classification accuracy. PruNet as a backbone also outperforms GPUNet and EfficientNet on the COCO object detection task on inference latency relative to mean Average Precision (mAP).
• Abstract（参考訳）: 提案手法は,DNAS (inference-aware Differentiable Neural Architecture Search) のコストと結果を改善するために提案される。 まず、内部の隠れた次元をメモリと計算の複雑さで探索できるDNASのための確率的双方向構築ブロックである 。 第2に,探索中にスーパーネットの確率層内でブロックを切断するアルゴリズムを提案する。 第3に,探索中に不要な確率層を刈り取る新しい手法について述べる。 検索から得られた最適化モデルはPruNetと呼ばれ、ImageNet Top-1画像分類精度の推論レイテンシの観点から、NVIDIA V100のための最先端のParetoフロンティアを確立する。 バックボーンとしてのPruNetは、平均精度(mAP)に対する推論遅延において、COCOオブジェクト検出タスクにおいてGPUNetとEfficientNetを上回っている。

関連論文リスト

• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Fast Neural Architecture Search for Lightweight Dense Prediction Networks [41.605107921584775]
  本稿では,軽量な高密度予測ニューラルアーキテクチャサーチ(NAS)フレームワーク LDP を提案する。 定義済みの一般的なバックボーンから始めて、LDPは効率的なアーキテクチャ探索のためにAssisted Tabu Searchという小説を適用した。 実験の結果,提案したフレームワークは,テスト済みの高密度予測タスクに対して一貫した改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2022-03-03T20:17:10Z)
• Combined Depth Space based Architecture Search For Person Re-identification [70.86236888223569]
  個人再識別(ReID)のための軽量で適切なネットワークの設計を目指しています。 本研究では,CDNetと呼ばれる効率的なネットワークアーキテクチャの探索に基づく,複合深さ空間(Componed Depth Space, CDS)と呼ばれる新しい検索空間を提案する。 そこで我々はTop-k Sample Search戦略という低コストの検索戦略を提案し、検索空間をフル活用し、局所的な最適結果のトラップを避ける。
  論文  参考訳（メタデータ） (2021-04-09T02:40:01Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。