Fugu-MT 論文翻訳(概要): Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness

論文の概要: Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness

arxiv url: http://arxiv.org/abs/2302.10253v2
Date: Mon, 5 Feb 2024 13:53:45 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 07:06:51.701352
Title: Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness
Title（参考訳）: トランスファーラーニングによるディープニューラルネットワークの多目的進化pruningとその性能とロバスト性向上
Authors: Javier Poyatos, Daniel Molina, Aitor Mart\'inez, Javier Del Ser, Francisco Herrera
Abstract要約: 本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
参考スコア（独自算出の注目度）: 15.29595828816055
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Evolutionary Computation algorithms have been used to solve optimization problems in relation with architectural, hyper-parameter or training configuration, forging the field known today as Neural Architecture Search. These algorithms have been combined with other techniques such as the pruning of Neural Networks, which reduces the complexity of the network, and the Transfer Learning, which lets the import of knowledge from another problem related to the one at hand. The usage of several criteria to evaluate the quality of the evolutionary proposals is also a common case, in which the performance and complexity of the network are the most used criteria. This work proposes MO-EvoPruneDeepTL, a multi-objective evolutionary pruning algorithm. MO-EvoPruneDeepTL uses Transfer Learning to adapt the last layers of Deep Neural Networks, by replacing them with sparse layers evolved by a genetic algorithm, which guides the evolution based in the performance, complexity and robustness of the network, being the robustness a great quality indicator for the evolved models. We carry out different experiments with several datasets to assess the benefits of our proposal. Results show that our proposal achieves promising results in all the objectives, and direct relation are presented among them. The experiments also show that the most influential neurons help us explain which parts of the input images are the most relevant for the prediction of the pruned neural network. Lastly, by virtue of the diversity within the Pareto front of pruning patterns produced by the proposal, it is shown that an ensemble of differently pruned models improves the overall performance and robustness of the trained networks.
Abstract（参考訳）: 進化的計算アルゴリズムは、アーキテクチャ、ハイパーパラメータ、トレーニング構成に関連する最適化問題を解くために使われており、今日のニューラルアーキテクチャ探索として知られる分野を鍛造している。これらのアルゴリズムは、ネットワークの複雑さを減らすニューラルネットワークのプルーニングや、目の前のものに関連する別の問題から知識をインポートするTransfer Learningといった他の手法と組み合わせられている。進化的提案の品質を評価するためのいくつかの基準の使用は、ネットワークのパフォーマンスと複雑さが最もよく使われる基準である、一般的なケースでもある。本研究は多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。 MO-EvoPruneDeepTLは、Transfer Learningを使用して、Deep Neural Networksの最後の層を、遺伝的アルゴリズムによって進化したスパース層に置き換える。提案の利点を評価するために,複数のデータセットを用いて異なる実験を行った。その結果,提案手法はすべての目的において有望な結果が得られ,その間に直接関係が提示されることがわかった。実験の結果、最も影響力のあるニューロンは、入力画像のどの部分がプルーンドニューラルネットワークの予測に最も関連しているかを説明するのに役立ちます。最後に,提案手法によるプルーニングパターンのパレートフロントにおける多様性を活かし,異なるプルーニングモデルのアンサンブルによって,トレーニングされたネットワーク全体の性能と頑健性が向上することを示す。

関連論文リスト

Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。スパース特徴を抽出する能力において,CNNの収束率を導出する。スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
論文参考訳（メタデータ） (2024-08-10T12:43:55Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文参考訳（メタデータ） (2023-04-19T16:39:44Z)
EvoPruneDeepTL: An Evolutionary Pruning Model for Transfer Learning based Deep Neural Networks [15.29595828816055]
本稿では,トランスファーラーニングに基づくディープニューラルネットワークのための進化的プルーニングモデルを提案する。 EvoPruneDeepTLは、最後の完全に接続されたレイヤを遺伝的アルゴリズムによって最適化されたスパースレイヤで置き換える。その結果,ネットワーク全体の計算効率に対するEvoPruneDeepTLと特徴選択の寄与が示された。
論文参考訳（メタデータ） (2022-02-08T13:07:55Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Transfer Learning Based Multi-Objective Evolutionary Algorithm for Community Detection of Dynamic Complex Networks [1.693830041971135]
本稿では,伝達学習と従来の多目的進化アルゴリズムに基づく特徴伝達に基づく多目的最適化アルゴリズム(TMOGA)を提案する。このアルゴリズムは,様々なテスト問題において,最先端の動的ネットワークコミュニティ検出アルゴリズムと比較して,より優れたクラスタリング効果が得られることを示す。
論文参考訳（メタデータ） (2021-09-30T17:16:51Z)
Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
複素領域における異なる変動演算子の効果について検討する。モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
論文参考訳（メタデータ） (2021-06-16T17:12:26Z)
Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文参考訳（メタデータ） (2021-05-27T12:27:24Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Topological Insights into Sparse Neural Networks [16.515620374178535]
本稿では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。適応的なスパース接続は、高密度モデルよりも優れた非常に異なるトポロジを持つスパースサブネットワークを常に顕在化することができることを示す。
論文参考訳（メタデータ） (2020-06-24T22:27:21Z)
Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search [22.483917379706725]
進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
論文参考訳（メタデータ） (2020-03-07T12:33:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。