論文の概要: An Efficient Quantitative Approach for Optimizing Convolutional Neural
Networks
- arxiv url: http://arxiv.org/abs/2009.05236v4
- Date: Wed, 15 Sep 2021 16:59:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 21:15:02.160936
- Title: An Efficient Quantitative Approach for Optimizing Convolutional Neural
Networks
- Title（参考訳）: 畳み込みニューラルネットワークの最適化のための効率的な定量的手法
- Authors: Yuke Wang, Boyuan Feng, Xueqiao Peng, Yufei Ding
- Abstract要約: 本稿では,CNNアーキテクチャの品質を推定し,設計の探索プロセスを導く3D-Receptive Field (3DRF)を提案する。
我々のモデルは、MobileNetやResNetのような最先端のCNN構造と比較して、最大5.47%の精度向上と65.38%のパラメータを達成できる。
- 参考スコア（独自算出の注目度）: 16.072287925319806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing popularity of deep learning, Convolutional Neural
Networks (CNNs) have been widely applied in various domains, such as image
classification and object detection, and achieve stunning success in terms of
their high accuracy over the traditional statistical methods. To exploit the
potential of CNN models, a huge amount of research and industry efforts have
been devoted to optimizing CNNs. Among these endeavors, CNN architecture design
has attracted tremendous attention because of its great potential of improving
model accuracy or reducing model complexity. However, existing work either
introduces repeated training overhead in the search process or lacks an
interpretable metric to guide the design. To clear these hurdles, we propose
3D-Receptive Field (3DRF), an explainable and easy-to-compute metric, to
estimate the quality of a CNN architecture and guide the search process of
designs. To validate the effectiveness of 3DRF, we build a static optimizer to
improve the CNN architectures at both the stage level and the kernel level. Our
optimizer not only provides a clear and reproducible procedure but also
mitigates unnecessary training efforts in the architecture search process.
Extensive experiments and studies show that the models generated by our
optimizer can achieve up to 5.47% accuracy improvement and up to 65.38%
parameters deduction, compared with state-of-the-art CNN structures like
MobileNet and ResNet.
- Abstract（参考訳）: ディープラーニングの普及に伴い、畳み込みニューラルネットワーク(convolutional neural network:cnns)は、画像分類やオブジェクト検出など、さまざまな領域で広く適用され、従来の統計的手法よりも高い精度で素晴らしい成功を収めている。
CNNモデルの可能性を活用するために、CNNの最適化に多大な研究と産業努力が注がれている。
これらの取り組みの中で、CNNアーキテクチャ設計はモデル精度の向上やモデルの複雑さの低減という大きな可能性を秘めている。
しかしながら、既存の作業では、検索プロセスに繰り返しトレーニングオーバーヘッドを導入するか、設計を導くための解釈可能なメトリクスを欠いている。
これらのハードルを解消するため,我々はcnnアーキテクチャの品質を推定し,設計の探索過程を導くための3次元受容場(3drf)を提案する。
3DRFの有効性を検証するため,ステージレベルとカーネルレベルの両方でCNNアーキテクチャを改善する静的オプティマイザを構築した。
我々のオプティマイザは、明確かつ再現可能な手順を提供するだけでなく、アーキテクチャ検索プロセスにおける不要なトレーニング作業を軽減します。
広範な実験と研究により、オプティマイザによって生成されたモデルは、mobilenetやresnetのような最先端のcnn構造と比較して、最大5.47%の精度向上と65.38%のパラメータ推論を達成できることが示されている。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Optimizing Convolutional Neural Network Architecture [0.0]
畳み込みニューラルネットワーク(CNN)は、音声認識や自然言語処理、コンピュータビジョンといった課題に直面するために広く使われている。
我々は,プルーニングと知識蒸留に基づく新しいCNN最適化と構築手法であるOCNNAを提案する。
提案手法は,20以上の畳み込みニューラルネットワークの単純化アルゴリズムと比較し,優れた結果を得た。
論文 参考訳（メタデータ） (2023-12-17T12:23:11Z) - Transferability of Convolutional Neural Networks in Stationary Learning
Tasks [96.00428692404354]
本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。
このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。
以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
論文 参考訳（メタデータ） (2023-07-21T13:51:45Z) - An Efficient Evolutionary Deep Learning Framework Based on Multi-source
Transfer Learning to Evolve Deep Convolutional Neural Networks [8.40112153818812]
畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。
計算コストは依然としてCNNを自動設計するボトルネックである。
本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-07T20:22:58Z) - Receptive Field Refinement for Convolutional Neural Networks Reliably
Improves Predictive Performance [1.52292571922932]
本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。
我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
論文 参考訳（メタデータ） (2022-11-26T05:27:44Z) - Efficient Neural Net Approaches in Metal Casting Defect Detection [0.0]
本研究は,精度と推定時間の観点から効率の良い軽量アーキテクチャを提案する。
以上の結果から,深度的に分離可能な畳み込みを持つ590Kパラメータのカスタムモデルが事前学習アーキテクチャよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-08-08T13:54:36Z) - Towards Enabling Dynamic Convolution Neural Network Inference for Edge
Intelligence [0.0]
エッジインテリジェンスの最近の進歩は、スループットを高め、レイテンシを低減するために、エッジネットワーク上のCNN推論を必要とする。
柔軟性を得るためには、さまざまなモバイルデバイスに対する動的パラメータ割り当ては、事前に定義されたか、オンザフライで定義されたCNNアーキテクチャを実装する必要がある。
本稿では,スケーラブルで動的に分散したCNN推論を高速に設計するためのライブラリベースのアプローチを提案する。
論文 参考訳（メタデータ） (2022-02-18T22:33:42Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。
異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。
GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文 参考訳（メタデータ） (2021-07-31T08:36:30Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。