論文の概要: Receptive Field Refinement for Convolutional Neural Networks Reliably
Improves Predictive Performance
- arxiv url: http://arxiv.org/abs/2211.14487v1
- Date: Sat, 26 Nov 2022 05:27:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 14:44:24.861029
- Title: Receptive Field Refinement for Convolutional Neural Networks Reliably
Improves Predictive Performance
- Title(参考訳): 畳み込みニューラルネットワークの受容場微細化による予測性能の向上
- Authors: Mats L. Richter, Christopher Pal
- Abstract要約: 本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。
我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
- 参考スコア(独自算出の注目度): 1.52292571922932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Minimal changes to neural architectures (e.g. changing a single
hyperparameter in a key layer), can lead to significant gains in predictive
performance in Convolutional Neural Networks (CNNs). In this work, we present a
new approach to receptive field analysis that can yield these types of
theoretical and empirical performance gains across twenty well-known CNN
architectures examined in our experiments. By further developing and
formalizing the analysis of receptive field expansion in convolutional neural
networks, we can predict unproductive layers in an automated manner before ever
training a model. This allows us to optimize the parameter-efficiency of a
given architecture at low cost. Our method is computationally simple and can be
done in an automated manner or even manually with minimal effort for most
common architectures. We demonstrate the effectiveness of this approach by
increasing parameter efficiency across past and current top-performing
CNN-architectures. Specifically, our approach is able to improve ImageNet1K
performance across a wide range of well-known, state-of-the-art (SOTA) model
classes, including: VGG Nets, MobileNetV1, MobileNetV3, NASNet A (mobile),
MnasNet, EfficientNet, and ConvNeXt - leading to a new SOTA result for each
model class.
- Abstract(参考訳): ニューラルネットワークへの最小限の変更(例えば、キー層内の1つのハイパーパラメータの変更)は、畳み込みニューラルネットワーク(CNN)の予測性能を著しく向上させる可能性がある。
そこで本研究では,20のよく知られたCNNアーキテクチャにおいて,このような理論的および経験的性能向上を達成できる受容場解析手法を提案する。
畳み込みニューラルネットワークにおける受容場拡大の解析をさらに発展させ、形式化することにより、モデルをトレーニングする前に非生産層を自動で予測することができる。
これにより、所定のアーキテクチャのパラメータ効率を低コストで最適化できる。
この手法は計算がシンプルで,ほとんどの一般的なアーキテクチャに対して最小限の労力で,自動的あるいは手作業で行うことができる。
本稿では,過去および現在のCNNアーキテクチャにおけるパラメータ効率を向上し,本手法の有効性を示す。
具体的には、VGG Nets、MobileNetV1、MobileNetV3、NASNet A (mobile)、MnasNet、EfficientNet、ConvNeXtなど、広く知られたSOTA(State-of-the-art)モデルクラスで、ImageNet1Kのパフォーマンスを改善することができる。
関連論文リスト
- Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2024-03-21T02:33:37Z) - Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳(メタデータ) (2024-02-27T11:52:49Z) - Set-based Neural Network Encoding [57.15855198512551]
一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
論文 参考訳(メタデータ) (2023-05-26T04:34:28Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - The Untapped Potential of Off-the-Shelf Convolutional Neural Networks [29.205446247063673]
ResNet-50のような既存の市販モデルは、ImageNet上で95%以上の精度を持つことを示す。
このレベルのパフォーマンスは現在、20倍以上のパラメータとはるかに複雑なトレーニング手順を持つモデルを上回る。
論文 参考訳(メタデータ) (2021-03-17T20:04:46Z) - Convolution Neural Network Hyperparameter Optimization Using Simplified
Swarm Optimization [2.322689362836168]
畳み込みニューラルネットワーク(CNN)はコンピュータビジョンで広く使われている。
パフォーマンスが向上したネットワークアーキテクチャを見つけるのは容易ではない。
論文 参考訳(メタデータ) (2021-03-06T00:23:27Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳(メタデータ) (2020-10-02T16:50:26Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳(メタデータ) (2020-06-03T05:20:21Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳(メタデータ) (2020-01-07T16:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。