論文の概要: Speeding Up EfficientNet: Selecting Update Blocks of Convolutional
Neural Networks using Genetic Algorithm in Transfer Learning
- arxiv url: http://arxiv.org/abs/2303.00261v1
- Date: Wed, 1 Mar 2023 06:35:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 15:52:39.914478
- Title: Speeding Up EfficientNet: Selecting Update Blocks of Convolutional
Neural Networks using Genetic Algorithm in Transfer Learning
- Title（参考訳）: 効率性ネットの高速化:遺伝的アルゴリズムによる畳み込みニューラルネットワークのアップデートブロックの選択
- Authors: Md. Mehedi Hasana, Muhammad Ibrahim, Md. Sawkat Ali
- Abstract要約: パラメータを更新するための階層のブロックを選択する遺伝的アルゴリズムを考案する。
提案アルゴリズムは, 精度の点で, ベースラインと同等あるいは良質な結果が得られることを示す。
また、各ブロックの有効性を更新ブロックとして測定するブロック重要度と呼ばれる指標も考案した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The performance of convolutional neural networks (CNN) depends heavily on
their architectures. Transfer learning performance of a CNN relies quite
strongly on selection of its trainable layers. Selecting the most effective
update layers for a certain target dataset often requires expert knowledge on
CNN architecture which many practitioners do not posses. General users prefer
to use an available architecture (e.g. GoogleNet, ResNet, EfficientNet etc.)
that is developed by domain experts. With the ever-growing number of layers, it
is increasingly becoming quite difficult and cumbersome to handpick the update
layers. Therefore, in this paper we explore the application of genetic
algorithm to mitigate this problem. The convolutional layers of popular
pretrained networks are often grouped into modules that constitute their
building blocks. We devise a genetic algorithm to select blocks of layers for
updating the parameters. By experimenting with EfficientNetB0 pre-trained on
ImageNet and using Food-101, CIFAR-100 and MangoLeafBD as target datasets, we
show that our algorithm yields similar or better results than the baseline in
terms of accuracy, and requires lower training and evaluation time due to
learning less number of parameters. We also devise a metric called block
importance to measure efficacy of each block as update block and analyze the
importance of the blocks selected by our algorithm.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)の性能はアーキテクチャに大きく依存する。
CNNの転送学習性能は、トレーニング可能なレイヤの選択に大きく依存する。
ターゲットとするデータセットの最も効果的な更新レイヤを選択するには、多くの場合、多くの実践者が知らないcnnアーキテクチャに関する専門家の知識が必要です。
一般ユーザーは、ドメインの専門家によって開発された利用可能なアーキテクチャ(例えば、GoogleNet、ResNet、EfficientNetなど)を使うのを好む。
レイヤの数が増えるにつれて、更新レイヤを手作業で選択することが難しくなり、面倒になってきています。
そこで本研究では,この問題を緩和するための遺伝的アルゴリズムの適用について検討する。
一般的な事前訓練ネットワークの畳み込み層は、しばしばその構成要素を構成するモジュールにグループ化される。
パラメータを更新するための階層ブロックを選択する遺伝的アルゴリズムを考案する。
ImageNetで事前トレーニングされたEfficientNetB0を用いて、ターゲットデータセットとしてFood-101、CIFAR-100、MangoLeafBDを用いて実験することにより、アルゴリズムは精度の点でベースラインと同等または良質な結果を得ることができ、パラメータ数が少ないため、トレーニングや評価時間が少なくなることを示した。
また、各ブロックの有効性を更新ブロックとして測定し、アルゴリズムが選択したブロックの重要性を分析するためにブロック重要度と呼ばれる指標を考案した。
関連論文リスト
- Time Elastic Neural Networks [2.1756081703276]
時間弾性ニューラルネットワーク(teNN)という,非定型ニューラルネットワークアーキテクチャの導入と詳細化について述べる。
古典的ニューラルネットワークアーキテクチャと比較して新しいのは、時間ゆがみ能力を明確に組み込んでいることだ。
トレーニング過程において,TENNは各細胞に必要となるニューロン数を減少させることに成功した。
論文 参考訳（メタデータ） (2024-05-27T09:01:30Z) - Training Convolutional Neural Networks with the Forward-Forward
algorithm [1.74440662023704]
Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。
FFパラダイムをCNNに拡張する方法を示す。
我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
論文 参考訳（メタデータ） (2023-12-22T18:56:35Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Breaking the Architecture Barrier: A Method for Efficient Knowledge
Transfer Across Networks [0.0]
本稿では,異なるアーキテクチャのニューラルネットワーク間でパラメータを転送する手法を提案する。
我々の手法はDPIATと呼ばれ、動的プログラミングを用いてアーキテクチャ間のブロックとレイヤをマッチングし、パラメータを効率的に転送する。
ImageNetの実験では,50時間後の平均1.6倍の検証精度が向上した。
論文 参考訳（メタデータ） (2022-12-28T17:35:41Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文 参考訳（メタデータ） (2022-06-07T15:48:02Z) - Tricks and Plugins to GBM on Images and Sequences [18.939336393665553]
本稿では,動的特徴選択とBoostCNNの利点を組み合わせるために,Deep Convolutional Neural Networks(BoostCNN)を高速化するアルゴリズムを提案する。
また,最小2乗の目的関数に基づいて,重み付けをディープラーニングアーキテクチャに組み込むアルゴリズムも提案する。
実験により,提案手法はいくつかのきめ細かい分類タスクのベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2022-03-01T21:59:00Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳（メタデータ） (2020-07-07T11:27:43Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳（メタデータ） (2020-01-07T16:41:58Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。