論文の概要: Non-deep Networks

• arxiv url: http://arxiv.org/abs/2110.07641v1
• Date: Thu, 14 Oct 2021 18:03:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 12:38:15.655670
• Title: Non-deep Networks
• Title（参考訳）: 非ディープネットワーク
• Authors: Ankit Goyal, Alexey Bochkovskiy, Jia Deng, Vladlen Koltun
• Abstract要約: 我々は、高性能な「非深度」ニューラルネットワークを構築することができることを示す。 並列サブストラクチャを利用することで、深さが12のネットワークが80%以上のトップ1の精度を達成できることを示す。 我々は、低遅延認識システムを構築するために、非ディープネットワークをどのように使用できるかという概念の証明を提供する。
• 参考スコア（独自算出の注目度）: 122.77755088736865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth is the hallmark of deep neural networks. But more depth means more sequential computation and higher latency. This begs the question -- is it possible to build high-performing "non-deep" neural networks? We show that it is. To do so, we use parallel subnetworks instead of stacking one layer after another. This helps effectively reduce depth while maintaining high performance. By utilizing parallel substructures, we show, for the first time, that a network with a depth of just 12 can achieve top-1 accuracy over 80% on ImageNet, 96% on CIFAR10, and 81% on CIFAR100. We also show that a network with a low-depth (12) backbone can achieve an AP of 48% on MS-COCO. We analyze the scaling rules for our design and show how to increase performance without changing the network's depth. Finally, we provide a proof of concept for how non-deep networks could be used to build low-latency recognition systems. Code is available at https://github.com/imankgoyal/NonDeepNetworks.
• Abstract（参考訳）: 深さはディープニューラルネットワークの特長である。 しかし、より深い深さはシーケンシャルな計算と高いレイテンシを意味する。 ハイパフォーマンスな"非ディープ"ニューラルネットワークを構築することは可能か? 私たちはそれが正しいことを示します。 そのため、別のレイヤを積み重ねるのではなく、並列サブネットワークを使用します。 これにより、高い性能を維持しながら、効果的に深さを減らすことができる。 パラレルサブストラクチャを利用することで,画像ネットの80%,cifar10の96%,cifar100の81%において,深さがわずか12のネットワークがトップ1の精度を達成できることを初めて示す。 また,低深度(12)のバックボーンを持つネットワークは,MS-COCOで48%のAPが得られることを示す。 設計のスケーリングルールを分析し、ネットワークの深さを変えることなくパフォーマンスを向上させる方法を示す。 最後に,非ディープネットワークが低遅延認識システムの構築にどのように使われるのか,概念実証を行う。 コードはhttps://github.com/imankgoyal/NonDeepNetworksで入手できる。

関連論文リスト

• Layer Folding: Neural Network Depth Reduction using Activation Linearization [0.0]
  現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。 線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。 我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
  論文  参考訳（メタデータ） (2021-06-17T08:22:46Z)
• Channel Planting for Deep Neural Networks using Knowledge Distillation [3.0165431987188245]
  我々は,植林と呼ばれる深層ニューラルネットワークのための新しいインクリメンタルトレーニングアルゴリズムを提案する。 本システムでは,ネットワーク性能向上のためのパラメータの少ない最適ネットワークアーキテクチャを探索できる。 CIFAR-10/100 や STL-10 などの異なるデータセットに対する提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2020-11-04T16:29:59Z)
• Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets [65.28292822614418]
  解像度、深さ、幅を同時に拡大する巨大な公式は、ニューラルネットワークのためのルービックキューブを提供する。 本稿では,最小モデルサイズと計算コストで深層ニューラルネットワークを得るためのツイストルールを検討することを目的とする。
  論文  参考訳（メタデータ） (2020-10-28T08:49:45Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
  本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。 我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
  論文  参考訳（メタデータ） (2020-07-01T23:34:35Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Knapsack Pruning with Inner Distillation [11.04321604965426]
  そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
  論文  参考訳（メタデータ） (2020-02-19T16:04:48Z)
• Fast Neural Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。 ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。 しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。 本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
  論文  参考訳（メタデータ） (2020-01-08T13:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。