論文の概要: Surrogate-assisted Particle Swarm Optimisation for Evolving
Variable-length Transferable Blocks for Image Classification
- arxiv url: http://arxiv.org/abs/2007.01556v1
- Date: Fri, 3 Jul 2020 08:48:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 04:18:46.844501
- Title: Surrogate-assisted Particle Swarm Optimisation for Evolving
Variable-length Transferable Blocks for Image Classification
- Title（参考訳）: 画像分類のための可変長移動ブロックのサロゲート支援粒子群最適化
- Authors: Bin Wang, Bing Xue, Mengjie Zhang
- Abstract要約: 畳み込みニューラルネットワークを自動進化させるために,新しい有効サロゲート支援粒子群最適化アルゴリズムを提案する。
提案手法は、CIFAR-10データセットで3.49%、CIFAR-100データセットで18.49%、SVHNデータセットで1.82%の競合エラー率を達成することにより、その効果を示す。
- 参考スコア（独自算出の注目度）: 8.40112153818812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep convolutional neural networks have demonstrated promising performance on
image classification tasks, but the manual design process becomes more and more
complex due to the fast depth growth and the increasingly complex topologies of
convolutional neural networks. As a result, neural architecture search has
emerged to automatically design convolutional neural networks that outperform
handcrafted counterparts. However, the computational cost is immense, e.g.
22,400 GPU-days and 2,000 GPU-days for two outstanding neural architecture
search works named NAS and NASNet, respectively, which motivates this work. A
new effective and efficient surrogate-assisted particle swarm optimisation
algorithm is proposed to automatically evolve convolutional neural networks.
This is achieved by proposing a novel surrogate model, a new method of creating
a surrogate dataset and a new encoding strategy to encode variable-length
blocks of convolutional neural networks, all of which are integrated into a
particle swarm optimisation algorithm to form the proposed method. The proposed
method shows its effectiveness by achieving competitive error rates of 3.49% on
the CIFAR-10 dataset, 18.49% on the CIFAR-100 dataset, and 1.82% on the SVHN
dataset. The convolutional neural network blocks are efficiently learned by the
proposed method from CIFAR-10 within 3 GPU-days due to the acceleration
achieved by the surrogate model and the surrogate dataset to avoid the training
of 80.1% of convolutional neural network blocks represented by the particles.
Without any further search, the evolved blocks from CIFAR-10 can be
successfully transferred to CIFAR-100 and SVHN, which exhibits the
transferability of the block learned by the proposed method.
- Abstract（参考訳）: 深層畳み込みニューラルネットワークは、画像分類タスクにおいて有望な性能を示したが、高速な深さ成長と畳み込みニューラルネットワークの複雑なトポロジにより、手動設計プロセスがますます複雑になる。
その結果、手作りのニューラルネットワークよりも優れた畳み込みニューラルネットワークを自動設計するニューラルネットワーク探索が出現した。
しかし、計算コストは、それぞれNAS(英語版)とNASNet(英語版)と名づけられた2つの優れたニューラルネットワーク探索のための22,400GPU日と2,000GPU日である。
畳み込みニューラルネットワークを自動発展させるために,新しい効率的かつ効率的な粒子群最適化アルゴリズムを提案する。
これは、新しいサロゲートモデル、新しいサロゲートデータセットの作成方法、および畳み込みニューラルネットワークの可変長ブロックをエンコードするための新しい符号化戦略を提案することで実現される。
提案手法は、CIFAR-10データセットで3.49%、CIFAR-100データセットで18.49%、SVHNデータセットで1.82%の競合エラー率を達成することにより、その効果を示す。
この畳み込みニューラルネットワークブロックは、粒子で表される畳み込みニューラルネットワークブロックの80.1%のトレーニングを避けるために、サロゲートモデルとサロゲートデータセットによって達成された加速度のために、3gpu日以内にcifar-10から提案手法により効率的に学習される。
CIFAR-10から派生したブロックを CIFAR-100 と SVHN に転送し,提案手法で学習したブロックの転送性を示す。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - SA-CNN: Application to text categorization issues using simulated
annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。
テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T14:27:34Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T02:03:08Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。
画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
論文 参考訳（メタデータ） (2020-04-15T17:52:48Z) - Research on a New Convolutional Neural Network Model Combined with
Random Edges Adding [10.519799195357209]
畳み込みニューラルネットワークモデルの性能向上のために,ランダムエッジ付加アルゴリズムを提案する。
シミュレーションの結果, モデル認識精度とトレーニング収束速度は, 再構成モデルのランダムエッジ付加により大幅に向上することがわかった。
論文 参考訳（メタデータ） (2020-03-17T16:17:55Z) - Sampled Training and Node Inheritance for Fast Evolutionary Neural
Architecture Search [22.483917379706725]
進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。
本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。
提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
論文 参考訳（メタデータ） (2020-03-07T12:33:01Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳（メタデータ） (2020-02-18T17:42:13Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。