Fugu-MT 論文翻訳(概要): Reusing Convolutional Neural Network Models through Modularization and Composition

論文の概要: Reusing Convolutional Neural Network Models through Modularization and Composition

arxiv url: http://arxiv.org/abs/2311.04438v1
Date: Wed, 8 Nov 2023 03:18:49 GMT
ステータス: 処理完了
システム内更新日: 2023-11-09 17:17:56.446864
Title: Reusing Convolutional Neural Network Models through Modularization and Composition
Title（参考訳）: モジュール化と構成による畳み込みニューラルネットワークモデルの再利用
Authors: Binhang Qi, Hailong Sun, Hongyu Zhang, Xiang Gao
Abstract要約: 我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。 CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
参考スコア（独自算出の注目度）: 22.823870645316397
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the widespread success of deep learning technologies, many trained deep neural network (DNN) models are now publicly available. However, directly reusing the public DNN models for new tasks often fails due to mismatching functionality or performance. Inspired by the notion of modularization and composition in software reuse, we investigate the possibility of improving the reusability of DNN models in a more fine-grained manner. Specifically, we propose two modularization approaches named CNNSplitter and GradSplitter, which can decompose a trained convolutional neural network (CNN) model for $N$-class classification into $N$ small reusable modules. Each module recognizes one of the $N$ classes and contains a part of the convolution kernels of the trained CNN model. Then, the resulting modules can be reused to patch existing CNN models or build new CNN models through composition. The main difference between CNNSplitter and GradSplitter lies in their search methods: the former relies on a genetic algorithm to explore search space, while the latter utilizes a gradient-based search method. Our experiments with three representative CNNs on three widely-used public datasets demonstrate the effectiveness of the proposed approaches. Compared with CNNSplitter, GradSplitter incurs less accuracy loss, produces much smaller modules (19.88% fewer kernels), and achieves better results on patching weak models. In particular, experiments on GradSplitter show that (1) by patching weak models, the average improvement in terms of precision, recall, and F1-score is 17.13%, 4.95%, and 11.47%, respectively, and (2) for a new task, compared with the models trained from scratch, reusing modules achieves similar accuracy (the average loss of accuracy is only 2.46%) without a costly training process. Our approaches provide a viable solution to the rapid development and improvement of CNN models.
Abstract（参考訳）: ディープラーニング技術の成功により、多くのトレーニング済みディープニューラルネットワーク(DNN)モデルが公開されている。しかし、新しいタスクのためにパブリックなDNNモデルを直接再利用することは、しばしば機能やパフォーマンスのミスマッチによって失敗する。ソフトウェア再利用におけるモジュール化と構成の概念に着想を得て,よりきめ細かい方法でDNNモデルの再利用性を向上させる可能性を検討する。具体的には、CNNSplitterとGradSplitterという2つのモジュール化アプローチを提案する。これは、訓練された畳み込みニューラルネットワーク(CNN)モデルを、$N$クラスを小さな再利用可能なモジュールに分類するために分解することができる。各モジュールは$N$クラスの1つを認識し、トレーニングされたCNNモデルの畳み込みカーネルの一部を含んでいる。そして、生成されたモジュールを再利用して既存のCNNモデルをパッチしたり、コンポジションを通じて新しいCNNモデルを構築できる。 cnnsplitterとgradsplitterの主な違いは、検索方法にある。広く利用されている3つの公開データセットに対する3つの代表的CNNによる実験により,提案手法の有効性が示された。 cnnsplitterと比較すると、gradsplitterは精度の低下が少なく、より小さなモジュール(19.88%のカーネル)を生成し、弱いモデルのパッチでより良い結果を得る。特に、gradsplitterの実験では、(1)弱いモデルにパッチを当てることで、精度、リコール、およびf1-scoreの平均的な改善がそれぞれ17.13%、4.95%、11.47%となり、(2)新しいタスクでは、スクラッチから訓練されたモデルと比較して、モジュールの再利用は、コストのかかるトレーニングプロセスなしで同様の精度(平均的な精度の損失は2.46%)が得られる。我々のアプローチは、CNNモデルの迅速な開発と改善に有効なソリューションを提供する。

関連論文リスト

Robust Mixture-of-Expert Training for Convolutional Neural Networks [141.3531209949845]
スパースゲート型Mixture of Expert (MoE) は高精度で超効率的なモデル推論を実現するための大きな可能性を実証している。本稿では、AdvMoEと呼ばれるMoEのための新しいルータ-エキスパート交互学習フレームワークを提案する。その結果,AdvMoEは従来の高密度CNNに比べて1%の対向ロバスト性向上を実現し,親和性に富むMoEの有効性を享受できることがわかった。
論文参考訳（メタデータ） (2023-08-19T20:58:21Z)
Patching Weak Convolutional Neural Network Models through Modularization and Composition [19.986199290508925]
分類タスクのための畳み込みニューロンネットワーク(CNN)モデルは、しばしば不満足に機能する。圧縮モジュラー化手法であるCNNSplitterを提案し、$N$クラス分類のための強力なCNNモデルを$N$より小さなCNNモジュールに分解する。 CNNSplitterは、モジュール化と構成により弱いCNNモデルにパッチを適用できることを示し、ロバストなCNNモデルを開発するための新しいソリューションを提供する。
論文参考訳（メタデータ） (2022-09-11T15:26:16Z)
Lightweight Hybrid CNN-ELM Model for Multi-building and Multi-floor Classification [6.154022105385209]
本稿では,CNN と ELM の軽量な組み合わせを提案する。その結果,提案モデルはベンチマークよりも58%高速であり,分類精度はわずかに向上した。
論文参考訳（メタデータ） (2022-04-21T21:48:01Z)
Lost Vibration Test Data Recovery Using Convolutional Neural Network: A Case Study [0.0]
本稿では,アラモサキャニオン橋のCNNアルゴリズムを実構造として提案する。 3つの異なるCNNモデルは、1つと2つの故障したセンサーを予測するものとされた。畳み込み層を追加することによりモデルの精度が向上した。
論文参考訳（メタデータ） (2022-04-11T23:24:03Z)
Model Doctor: A Simple Gradient Aggregation Strategy for Diagnosing and Treating CNN Classifiers [33.82339346293966]
畳み込みニューラルネットワーク(CNN)は,分類タスクにおいて優れた性能を発揮する。 CNNは、予測メカニズムを理解するのが難しい「ブラックボックス」と見なされていることが広く知られている。本稿では,モデルドクターと呼ばれる,最初の完全自動診断・治療ツールを提案する。
論文参考訳（メタデータ） (2021-12-09T14:05:00Z)
Decomposing Convolutional Neural Networks into Reusable and Replaceable Modules [15.729284470106826]
本稿では,画像分類問題に使用されるCNNモデルを,各出力クラスのモジュールに分解する。これらのモジュールはさらに再利用したり、新しいモデルを構築するために置き換えることができる。我々は、CIFAR-10、CIFAR-100、ImageNetの3種類のResNetモデルを用いて、我々のアプローチを評価した。
論文参考訳（メタデータ） (2021-10-11T20:41:50Z)
A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文参考訳（メタデータ） (2021-08-30T06:09:02Z)
ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文参考訳（メタデータ） (2021-05-07T11:39:05Z)
ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文参考訳（メタデータ） (2020-09-04T20:41:47Z)
Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement [53.47564132861866]
我々は、CNN-TTというハイブリッドアーキテクチャが、モデルパラメータを小さくして高品質な性能を維持することができることを見出した。 CNN-TTは、音声品質を改善するために、特徴抽出のために下部に複数の畳み込み層で構成されている。
論文参考訳（メタデータ） (2020-07-25T22:21:05Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。