論文の概要: Multi-objective Evolutionary Approach for Efficient Kernel Size and
Shape for CNN
- arxiv url: http://arxiv.org/abs/2106.14776v1
- Date: Mon, 28 Jun 2021 14:47:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 17:39:00.842597
- Title: Multi-objective Evolutionary Approach for Efficient Kernel Size and
Shape for CNN
- Title（参考訳）: CNNにおける効率的なカーネルサイズと形状の多目的進化的アプローチ
- Authors: Ziwei Wang, Martin A. Trefzer, Simon J. Bale, Andy M. Tyrrell
- Abstract要約: VGGNetやResNetのようなCNNトポロジにおける最先端の開発は、ますます正確になっている。
これらのネットワークは数十億の演算とパラメータを含む計算コストが高い。
本稿では,畳み込み層におけるカーネルのサイズと数を削減することにより,計算資源の消費を最適化することを検討する。
- 参考スコア（独自算出の注目度）: 12.697368516837718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While state-of-the-art development in CNN topology, such as VGGNet and
ResNet, have become increasingly accurate, these networks are computationally
expensive involving billions of arithmetic operations and parameters. To
improve the classification accuracy, state-of-the-art CNNs usually involve
large and complex convolutional layers. However, for certain applications, e.g.
Internet of Things (IoT), where such CNNs are to be implemented on
resource-constrained platforms, the CNN architectures have to be small and
efficient. To deal with this problem, reducing the resource consumption in
convolutional layers has become one of the most significant solutions. In this
work, a multi-objective optimisation approach is proposed to trade-off between
the amount of computation and network accuracy by using Multi-Objective
Evolutionary Algorithms (MOEAs). The number of convolution kernels and the size
of these kernels are proportional to computational resource consumption of
CNNs. Therefore, this paper considers optimising the computational resource
consumption by reducing the size and number of kernels in convolutional layers.
Additionally, the use of unconventional kernel shapes has been investigated and
results show these clearly outperform the commonly used square convolution
kernels. The main contributions of this paper are therefore a methodology to
significantly reduce computational cost of CNNs, based on unconventional kernel
shapes, and provide different trade-offs for specific use cases. The
experimental results further demonstrate that the proposed method achieves
large improvements in resource consumption with no significant reduction in
network performance. Compared with the benchmark CNN, the best trade-off
architecture shows a reduction in multiplications of up to 6X and with slight
increase in classification accuracy on CIFAR-10 dataset.
- Abstract（参考訳）: VGGNetやResNetのようなCNNトポロジの最先端開発はますます正確になっているが、これらのネットワークは数十億の演算とパラメータを含む計算コストが高い。
分類精度を改善するために、最先端のCNNは通常、大きく複雑な畳み込み層を含む。
しかし、例えば特定のアプリケーションに対して。
IoT(Internet of Things)では、リソース制約のあるプラットフォームにこのようなCNNを実装する必要があるため、CNNアーキテクチャは小さくて効率的でなければならない。
この問題に対処するため、畳み込み層におけるリソース消費を減らすことは、最も重要なソリューションの一つとなっている。
本研究では,MOEA(Multi-Objective Evolutionary Algorithm)を用いて,計算量とネットワーク精度をトレードオフする多目的最適化手法を提案する。
畳み込みカーネルの数とこれらのカーネルのサイズは、cnnの計算資源消費に比例する。
そこで本稿では,畳み込み層におけるカーネルのサイズと数を削減し,計算資源消費の最適化について検討する。
さらに、非伝統的なカーネル形状の使用が研究され、その結果、一般的に使用される正方形畳み込みカーネルよりも明らかに優れた結果が得られた。
そこで本論文の主な貢献は,従来のカーネル形状に基づいてCNNの計算コストを大幅に削減し,特定のユースケースに対して異なるトレードオフを提供する手法である。
さらに,提案手法は,ネットワーク性能を著しく低下させることなく,資源消費を大幅に改善することを示した。
ベンチマークCNNと比較して、最良のトレードオフアーキテクチャは、最大6倍の乗算が減少し、CIFAR-10データセットの分類精度がわずかに向上していることを示している。
関連論文リスト
- Enhancing Convolutional Neural Networks with Higher-Order Numerical Difference Methods [6.26650196870495]
畳み込みニューラルネットワーク(CNN)は、人間が多くの現実世界の問題を解決するのを助けることができる。
本稿では,CNNの性能向上を目的とした線形多段階法に基づく重ね合わせ手法を提案する。
論文 参考訳（メタデータ） (2024-09-08T05:13:58Z) - Dynamic Semantic Compression for CNN Inference in Multi-access Edge
Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。
セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
論文 参考訳（メタデータ） (2024-01-19T15:19:47Z) - A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - An Efficient Evolutionary Deep Learning Framework Based on Multi-source
Transfer Learning to Evolve Deep Convolutional Neural Networks [8.40112153818812]
畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。
計算コストは依然としてCNNを自動設計するボトルネックである。
本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-07T20:22:58Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳（メタデータ） (2022-06-17T04:07:45Z) - EcoFlow: Efficient Convolutional Dataflows for Low-Power Neural Network
Accelerators [12.223778147172107]
拡張畳み込み畳み込みは現代の畳み込みニューラルネットワーク(CNN)で広く使われている
これらのカーネルは、その高いメモリ強度、エクサスケールな計算要求、大きなエネルギー消費のために、現在の計算システムを強調している。
拡張および変換された畳み込みのための新しいデータフローとマッピングアルゴリズムであるEcoFlowを提案する。
論文 参考訳（メタデータ） (2022-02-04T18:48:36Z) - Learning from Images: Proactive Caching with Parallel Convolutional
Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。
モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。
数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文 参考訳（メタデータ） (2021-08-15T21:32:47Z) - Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。
異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。
GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文 参考訳（メタデータ） (2021-07-31T08:36:30Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳（メタデータ） (2020-02-18T17:42:13Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。