論文の概要: Optimization of Convolutional Neural Network Using the Linearly
Decreasing Weight Particle Swarm Optimization
- arxiv url: http://arxiv.org/abs/2001.05670v2
- Date: Thu, 17 Sep 2020 11:49:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 23:37:28.663838
- Title: Optimization of Convolutional Neural Network Using the Linearly
Decreasing Weight Particle Swarm Optimization
- Title（参考訳）: 重粒子群最適化を用いた畳み込みニューラルネットワークの最適化
- Authors: T. Serizawa, H. Fujita
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、最も頻繁に使用されるディープラーニング技術の1つである。
本稿では,Linely reduced weight Particle Swarm Optimization (LDWPSO)を用いたCNNハイパーパラメータ最適化を提案する。
その結果、MNISTデータセットを使用する場合、ベースラインCNNは5世紀で94.02%、LDWPSO CNNでは98.95%となり、精度が向上した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural network (CNN) is one of the most frequently used deep
learning techniques. Various forms of models have been proposed and improved
for learning at CNN. When learning with CNN, it is necessary to determine the
optimal hyperparameters. However, the number of hyperparameters is so large
that it is difficult to do it manually, so much research has been done on
automation. A method that uses metaheuristic algorithms is attracting attention
in research on hyperparameter optimization. Metaheuristic algorithms are
naturally inspired and include evolution strategies, genetic algorithms,
antcolony optimization and particle swarm optimization. In particular, particle
swarm optimization converges faster than genetic algorithms, and various models
have been proposed. In this paper, we propose CNN hyperparameter optimization
with linearly decreasing weight particle swarm optimization (LDWPSO). In the
experiment, the MNIST data set and CIFAR-10 data set, which are often used as
benchmark data sets, are used. By optimizing CNN hyperparameters with LDWPSO,
learning the MNIST and CIFAR-10 datasets, we compare the accuracy with a
standard CNN based on LeNet-5. As a result, when using the MNIST dataset, the
baseline CNN is 94.02% at the 5th epoch, compared to 98.95% for LDWPSO CNN,
which improves accuracy. When using the CIFAR-10 dataset, the Baseline CNN is
28.07% at the 10th epoch, compared to 69.37% for the LDWPSO CNN, which greatly
improves accuracy.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、最も頻繁に使用されるディープラーニング技術の1つである。
様々なモデルが提案され、CNNで学習するために改良されている。
CNNで学習する場合、最適なハイパーパラメータを決定する必要がある。
しかし、ハイパーパラメータの数はあまりに多く、手動で行うのは難しいため、自動化について多くの研究がなされている。
メタヒューリスティックアルゴリズムを用いた手法がハイパーパラメータ最適化の研究で注目を集めている。
メタヒューリスティックアルゴリズムは自然にインスパイアされ、進化戦略、遺伝的アルゴリズム、アントロニクス最適化、粒子群最適化を含む。
特に粒子群最適化は遺伝的アルゴリズムよりも高速に収束し、様々なモデルが提案されている。
本稿では,重粒子群最適化(LDWPSO)を用いたCNNハイパーパラメータ最適化を提案する。
実験では、ベンチマークデータセットとしてよく使用されるMNISTデータセットとCIFAR-10データセットが使用される。
LDWPSOでCNNハイパーパラメータを最適化し、MNISTとCIFAR-10データセットを学習することにより、LeNet-5に基づく標準CNNと比較する。
その結果、MNISTデータセットを使用する場合、ベースラインCNNは5世紀で94.02%、LDWPSO CNNでは98.95%となり、精度が向上した。
CIFAR-10データセットを使用する場合、ベースラインCNNは10世紀で28.07%であり、LDWPSO CNNでは69.37%である。
関連論文リスト
- Optimization of Convolutional Neural Network Hyperparameter for Medical Image Diagnosis using Metaheuristic Algorithms: A short Recent Review (2019-2022) [3.3686252536891454]
畳み込みニューラルネットワーク(CNN)は,多くの疾患の診断に有効である。
本研究は,CNN最適化プロセスにおけるメタヒューリスティック最適化アルゴリズムの利用について,近年の成果を示す。
論文 参考訳（メタデータ） (2024-12-23T20:13:02Z) - Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - An Efficient Evolutionary Deep Learning Framework Based on Multi-source
Transfer Learning to Evolve Deep Convolutional Neural Networks [8.40112153818812]
畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。
計算コストは依然としてCNNを自動設計するボトルネックである。
本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-07T20:22:58Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳（メタデータ） (2022-11-17T18:39:07Z) - Convolution Neural Network Hyperparameter Optimization Using Simplified
Swarm Optimization [2.322689362836168]
畳み込みニューラルネットワーク(CNN)はコンピュータビジョンで広く使われている。
パフォーマンスが向上したネットワークアーキテクチャを見つけるのは容易ではない。
論文 参考訳（メタデータ） (2021-03-06T00:23:27Z) - Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。
すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。
本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-09-28T03:29:19Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳（メタデータ） (2020-07-07T11:27:43Z) - Efficient Hyperparameter Optimization in Deep Learning Using a Variable
Length Genetic Algorithm [10.497188475929299]
CNNのハイパーパラメータを体系的に自動調整する可変長遺伝的アルゴリズム(GA)を提案する。
実験の結果,提案アルゴリズムは優れたCNNハイパーパラメータを効率的に見つけることができることがわかった。
論文 参考訳（メタデータ） (2020-06-23T02:37:14Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。