論文の概要: A Surrogate-Assisted Highly Cooperative Coevolutionary Algorithm for
Hyperparameter Optimization in Deep Convolutional Neural Network
- arxiv url: http://arxiv.org/abs/2302.12963v1
- Date: Sat, 25 Feb 2023 02:50:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 19:44:37.170370
- Title: A Surrogate-Assisted Highly Cooperative Coevolutionary Algorithm for
Hyperparameter Optimization in Deep Convolutional Neural Network
- Title（参考訳）: 深層畳み込みニューラルネットワークにおける超パラメータ最適化のためのサロゲート支援高協調共進化アルゴリズム
- Authors: An Chen, Zhigang Ren, Muyi Wang, Hui Chen, Haoxi Leng, Shuai Liu
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は近年顕著な成功を収めている。
深部CNNのための適切なハイパーパラメータを見つけることは、その高次元および計算に高価な特性のため、難しい最適化問題である。
本研究は,チェーン型CNNに対する代理型高度協調型ハイパーパラメータ最適化(SHCHO)アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 8.831407968856777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural networks (CNNs) have gained remarkable success in recent
years. However, their performance highly relies on the architecture
hyperparameters, and finding proper hyperparameters for a deep CNN is a
challenging optimization problem owing to its high-dimensional and
computationally expensive characteristics. Given these difficulties, this study
proposes a surrogate-assisted highly cooperative hyperparameter optimization
(SHCHO) algorithm for chain-styled CNNs. To narrow the large search space,
SHCHO first decomposes the whole CNN into several overlapping sub-CNNs in
accordance with the overlapping hyperparameter interaction structure and then
cooperatively optimizes these hyperparameter subsets. Two cooperation
mechanisms are designed during this process. One coordinates all the sub-CNNs
to reproduce the information flow in the whole CNN and achieve macro
cooperation among them, and the other tackles the overlapping components by
simultaneously considering the involved two sub-CNNs and facilitates micro
cooperation between them. As a result, a proper hyperparameter configuration
can be effectively located for the whole CNN. Besides, SHCHO also employs the
well-performing surrogate technique to assist in the hyperparameter
optimization of each sub-CNN, thereby greatly reducing the expensive
computational cost. Extensive experimental results on two widely-used image
classification datasets indicate that SHCHO can significantly improve the
performance of CNNs.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は近年顕著な成功を収めている。
しかし、その性能はアーキテクチャのハイパーパラメータに大きく依存しており、深部CNNの適切なハイパーパラメータを見つけることは、その高次元および計算に高価な特性のため、難しい最適化問題である。
このような問題から,チェーン型CNNに対する代理型高協調型ハイパーパラメータ最適化(SHCHO)アルゴリズムを提案する。
大きな探索空間を狭めるため、SHCHOはまず、重なり合うハイパーパラメータ相互作用構造に従ってCNN全体を複数のサブCNNに分解し、これらのハイパーパラメータサブセットを協調的に最適化する。
この過程で2つの協調機構が設計される。
1つは全てのサブcnnを調整してcnn全体の情報フローを再現し、マクロ協調を実現し、もう1つは関連する2つのサブcnnを同時に考慮して重なり合うコンポーネントに取り組み、それらの間のマイクロ協調を容易にする。
その結果、cnn全体に対して、適切なハイパーパラメータ構成を効果的に配置することができる。
さらに、SHCHOは、各サブCNNのハイパーパラメータ最適化を支援するために、高性能なサロゲート技術も採用している。
2つの広く使われている画像分類データセットの大規模な実験結果から、SHCHOはCNNの性能を大幅に改善できることが示された。
関連論文リスト
- Bayesian Optimization for Hyperparameters Tuning in Neural Networks [0.0]
ベイズ最適化 (Bayesian Optimization) は、連続的な入力と限られた評価予算を持つブラックボックス関数に適した微分自由大域最適化手法である。
本研究では,畳み込みニューラルネットワーク(CNN)の強化を目的としたニューラルネットワークのハイパーパラメータチューニングにおけるBOの適用について検討する。
実験結果から,BOは探索と利用のバランスを効果的に保ち,CNNアーキテクチャの最適設定に向けて急速に収束することが明らかとなった。
このアプローチは、ニューラルネットワークチューニングの自動化におけるBOの可能性を強調し、機械学習パイプラインの精度と計算効率の改善に寄与する。
論文 参考訳（メタデータ） (2024-10-29T09:23:24Z) - Efficient Hyperparameter Importance Assessment for CNNs [1.7778609937758323]
本稿では,畳み込みニューラルネットワーク(CNN)におけるハイパーパラメータの重み付けを,N-RReliefFというアルゴリズムを用いて定量化する。
我々は10の人気のある画像分類データセットから1万以上のCNNモデルをトレーニングし、広範囲にわたる研究を行う。
論文 参考訳（メタデータ） (2024-10-11T15:47:46Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T05:23:11Z) - HyPHEN: A Hybrid Packing Method and Optimizations for Homomorphic
Encryption-Based Neural Networks [7.642103082787977]
完全同相暗号(FHE)を用いた畳み込みニューラルネットワーク(CNN)推論は、有望なプライベート推論(PI)ソリューションである。
本稿では、新しい畳み込みアルゴリズムとデータパッキングを組み込んだ深層HCNN構築法であるHyPHENを提案する。
その結果、HyPHENはHCNN CIFAR-10推論のレイテンシを1.4秒(ResNet-20)で実践レベルまで下げ、初めて14.7秒(ResNet-18)でHCNN ImageNet推論を示す。
論文 参考訳（メタデータ） (2023-02-05T15:36:51Z) - A heterogeneous group CNN for image super-resolution [127.2132400582117]
畳み込みニューラルネットワーク(CNN)は、深いアーキテクチャを通して顕著な性能を得た。
異種グループSR CNN(HGSRCNN)を,異なるタイプの構造情報を利用して高品質な画像を得る。
論文 参考訳（メタデータ） (2022-09-26T04:14:59Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Surrogate and inverse modeling for two-phase flow in porous media via
theory-guided convolutional neural network [0.0]
理論誘導畳み込みニューラルネットワーク(TgCNN)フレームワークは、二相多孔質媒体フロー問題に拡張される。
検討された2つの主変数である圧力と飽和は2つのCNNと同時に近似される。
TgCNNサロゲートは二相流問題において通常のCNNサロゲートよりも精度が高い。
論文 参考訳（メタデータ） (2021-10-12T14:52:37Z) - Delta-STN: Efficient Bilevel Optimization for Neural Networks using
Structured Response Jacobians [5.33024001730262]
自己チューニングネットワーク(STN)は,最近,内部目標の最適化を補正する能力によって,注目を集めている。
トレーニングを安定化する改良されたハイパーネットワークアーキテクチャであるDelta$-STNを提案する。
論文 参考訳（メタデータ） (2020-10-26T12:12:23Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - What Deep CNNs Benefit from Global Covariance Pooling: An Optimization
Perspective [102.37204254403038]
我々は最適化の観点から、GCPの深いCNNのメリットを理解する試みを行っている。
GCPは最適化のランドスケープをよりスムーズにし、勾配をより予測できることを示す。
多様なタスクに対して様々な深部CNNモデルを用いて広範な実験を行い,その結果を強く支持する。
論文 参考訳（メタデータ） (2020-03-25T07:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。