Fugu-MT 論文翻訳(概要): An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks

論文の概要: An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2212.03942v1
Date: Wed, 7 Dec 2022 20:22:58 GMT
ステータス: 処理完了
システム内更新日: 2022-12-09 14:21:46.452172
Title: An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks
Title（参考訳）: 深層畳み込みニューラルネットワークを進化させるマルチソース変換学習に基づく効率的な進化的深層学習フレームワーク
Authors: Bin Wang, Bing Xue, Mengjie Zhang
Abstract要約: 畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。計算コストは依然としてCNNを自動設計するボトルネックである。本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
参考スコア（独自算出の注目度）: 8.40112153818812
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Convolutional neural networks (CNNs) have constantly achieved better performance over years by introducing more complex topology, and enlarging the capacity towards deeper and wider CNNs. This makes the manual design of CNNs extremely difficult, so the automated design of CNNs has come into the research spotlight, which has obtained CNNs that outperform manually-designed CNNs. However, the computational cost is still the bottleneck of automatically designing CNNs. In this paper, inspired by transfer learning, a new evolutionary computation based framework is proposed to efficiently evolve CNNs without compromising the classification accuracy. The proposed framework leverages multi-source domains, which are smaller datasets than the target domain datasets, to evolve a generalised CNN block only once. And then, a new stacking method is proposed to both widen and deepen the evolved block, and a grid search method is proposed to find optimal stacking solutions. The experimental results show the proposed method acquires good CNNs faster than 15 peer competitors within less than 40 GPU-hours. Regarding the classification accuracy, the proposed method gains its strong competitiveness against the peer competitors, which achieves the best error rates of 3.46%, 18.36% and 1.76% for the CIFAR-10, CIFAR-100 and SVHN datasets, respectively.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。これにより、CNNのマニュアル設計が極めて困難になるため、CNNの自動化設計が研究スポットライトとなり、手動設計のCNNよりも優れたCNNが得られる。しかし、計算コストは依然としてCNNを自動設計するボトルネックである。本稿では, 伝達学習に触発され, 分類精度を損なうことなくcnnを効率的に発展させるための新しい進化計算ベースフレームワークを提案する。提案フレームワークは,ターゲットドメインデータセットよりも小さなデータセットであるマルチソースドメインを活用して,一般化されたCNNブロックを1回だけ進化させる。そして,進化したブロックを拡張,深層化するために新しいスタック化手法を提案し,最適なスタック化解を求めるグリッド探索法を提案する。実験により,提案手法は,40時間以内で15の競合相手よりも高速に優れたCNNを取得することを示す。分類精度に関して,提案手法は,CIFAR-10,CIFAR-100,SVHNデータセットでそれぞれ3.46%,18.36%,1.76%の誤差率を達成し,競合相手に対して高い競争力を発揮する。

関連論文リスト

Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
論文参考訳（メタデータ） (2024-08-26T17:35:01Z)
OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
論文参考訳（メタデータ） (2024-03-21T14:06:38Z)
Training Convolutional Neural Networks with the Forward-Forward algorithm [1.74440662023704]
Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。 FFパラダイムをCNNに拡張する方法を示す。我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
論文参考訳（メタデータ） (2023-12-22T18:56:35Z)
Reusing Convolutional Neural Network Models through Modularization and Composition [22.823870645316397]
我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。 CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
論文参考訳（メタデータ） (2023-11-08T03:18:49Z)
Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
論文参考訳（メタデータ） (2023-07-21T13:51:45Z)
DietCNN: Multiplication-free Inference for Quantized CNNs [9.295702629926025]
本稿では,CNNにおける乗算をテーブルルックアップで置き換える手法を提案する。単一のアクティベーションコードブックに基づく乗算自由なCNNは、推論あたりのエネルギーの4.7倍、5.6倍、3.5倍の削減を達成できることが示されている。
論文参考訳（メタデータ） (2023-05-09T08:54:54Z)
Multi-objective Evolutionary Approach for Efficient Kernel Size and Shape for CNN [12.697368516837718]
VGGNetやResNetのようなCNNトポロジにおける最先端の開発は、ますます正確になっている。これらのネットワークは数十億の演算とパラメータを含む計算コストが高い。本稿では,畳み込み層におけるカーネルのサイズと数を削減することにより,計算資源の消費を最適化することを検討する。
論文参考訳（メタデータ） (2021-06-28T14:47:29Z)
BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文参考訳（メタデータ） (2021-03-14T20:43:19Z)
The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文参考訳（メタデータ） (2021-01-29T07:46:39Z)
Fusion of CNNs and statistical indicators to improve image classification [65.51757376525798]
畳み込みネットワークは過去10年間、コンピュータビジョンの分野を支配してきた。この傾向を長引かせる主要な戦略は、ネットワーク規模の拡大によるものだ。我々は、異種情報ソースを追加することは、より大きなネットワークを構築するよりもCNNにとって費用対効果が高いと仮定している。
論文参考訳（メタデータ） (2020-12-20T23:24:31Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。