論文の概要: Lets keep it simple, Using simple architectures to outperform deeper and
more complex architectures
- arxiv url: http://arxiv.org/abs/1608.06037v8
- Date: Thu, 27 Apr 2023 16:20:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 18:05:27.988696
- Title: Lets keep it simple, Using simple architectures to outperform deeper and
more complex architectures
- Title（参考訳）: シンプルなアーキテクチャを使って、より深くより複雑なアーキテクチャを上回ります。
- Authors: Seyyed Hossein Hasanpour, Mohammad Rouhani, Mohsen Fayyaz, Mohammad
Sabokrou
- Abstract要約: 畳み込みニューラルネットワーク(CNN)には数億から数億のパラメータが含まれており、計算とメモリオーバーヘッドがかなり大きい。
我々はSimpleNetと呼ばれるシンプルなアーキテクチャを提案し、その設計原則を実証的に示し、十分に設計されながらシンプルで合理的に深いアーキテクチャはより深く複雑なアーキテクチャと同等に機能することを示した。
私たちの単純な13層アーキテクチャは、VGGNet、ResNet、GoogleNetといった、これまでよく知られたベンチマークにおいて、より深く複雑なアーキテクチャよりも優れています。
- 参考スコア（独自算出の注目度）: 12.76864681474486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Major winning Convolutional Neural Networks (CNNs), such as AlexNet, VGGNet,
ResNet, GoogleNet, include tens to hundreds of millions of parameters, which
impose considerable computation and memory overhead. This limits their
practical use for training, optimization and memory efficiency. On the
contrary, light-weight architectures, being proposed to address this issue,
mainly suffer from low accuracy. These inefficiencies mostly stem from
following an ad hoc procedure. We propose a simple architecture, called
SimpleNet, based on a set of designing principles, with which we empirically
show, a well-crafted yet simple and reasonably deep architecture can perform on
par with deeper and more complex architectures. SimpleNet provides a good
tradeoff between the computation/memory efficiency and the accuracy. Our simple
13-layer architecture outperforms most of the deeper and complex architectures
to date such as VGGNet, ResNet, and GoogleNet on several well-known benchmarks
while having 2 to 25 times fewer number of parameters and operations. This
makes it very handy for embedded systems or systems with computational and
memory limitations. We achieved state-of-the-art result on CIFAR10
outperforming several heavier architectures, near state of the art on MNIST and
competitive results on CIFAR100 and SVHN. We also outperformed the much larger
and deeper architectures such as VGGNet and popular variants of ResNets among
others on the ImageNet dataset. Models are made available at:
https://github.com/Coderx7/SimpleNet
- Abstract（参考訳）: alexnet、vggnet、resnet、googlenetなどの主要な勝利畳み込みニューラルネットワーク(cnns)には、数千から数億のパラメータが含まれており、かなりの計算量とメモリオーバーヘッドを課している。
これにより、トレーニング、最適化、メモリ効率の実用性が制限される。
反対に、この問題に対処するために提案されている軽量アーキテクチャは、主に低い精度に苦しむ。
これらの非効率性は主にアドホックな手順に従うことに由来する。
我々はSimpleNetと呼ばれるシンプルなアーキテクチャを提案し、その設計原則を実証的に示し、十分に設計されながらシンプルで合理的に深いアーキテクチャはより深く複雑なアーキテクチャと同等に機能することを示した。
SimpleNetは計算/メモリ効率と精度のトレードオフを提供する。
私たちのシンプルな13層アーキテクチャは、vggnet、resnet、googlenetといった、これまでよく知られたベンチマークで知られていた、より深く複雑なアーキテクチャのほとんどを上回っています。
これは、組み込みシステムや計算とメモリの制限のあるシステムにとって非常に便利である。
CIFAR10はMNISTの最先端に近づき,CIFAR100とSVHNの競争結果よりも高い性能を示した。
また、VGGNetのようなより大きく深いアーキテクチャや、ImageNetデータセットで人気のあるResNetsなどよりも優れています。
モデルは、https://github.com/Coderx7/SimpleNetで利用可能である。
関連論文リスト
- Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Simple and Efficient Architectures for Semantic Segmentation [50.1563637917129]
ResNetのようなバックボーンと小型のマルチスケールヘッドを備えた単純なエンコーダデコーダアーキテクチャは,HRNetやFANet,DDRNetといった複雑なセマンティックセマンティックセマンティクスアーキテクチャよりも優れていることを示す。
そこで我々は,Cityscapesデータセット上の複雑なモデルの性能に適合する,あるいは超越した,デスクトップおよびモバイルターゲット用のこのようなシンプルなアーキテクチャのファミリーを提示する。
論文 参考訳（メタデータ） (2022-06-16T15:08:34Z) - ThreshNet: An Efficient DenseNet using Threshold Mechanism to Reduce
Connections [1.2542322096299672]
本稿では,接続の方法をさらに最適化するためのしきい値機構を用いた新しいネットワークアーキテクチャを提案する。
ThreshNetは、DenseNetと比較して最大60%の推論時間を短縮し、トレーニング速度を最大35%高速化し、エラー率を20%削減する。
論文 参考訳（メタデータ） (2022-01-09T13:52:16Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳（メタデータ） (2021-08-10T00:53:39Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z) - Neural Architecture Design for GPU-Efficient Networks [27.07089149328155]
本稿では,GPU効率のよいネットワークを設計するための一般的な原理を提案する。
提案するフレームワークをベースとして,GPU効率の良いネットワーク群(genets)を簡潔に設計する。
ImageNetで$geq 81.3%の精度を達成する一方で、genetはGPUでEfficienNetより6.4ドル速い。
論文 参考訳（メタデータ） (2020-06-24T22:42:18Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z) - Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。
提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
論文 参考訳（メタデータ） (2020-01-02T17:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。