Fugu-MT 論文翻訳(概要): Patching Weak Convolutional Neural Network Models through Modularization and Composition

論文の概要: Patching Weak Convolutional Neural Network Models through Modularization and Composition

arxiv url: http://arxiv.org/abs/2209.06116v1
Date: Sun, 11 Sep 2022 15:26:16 GMT
ステータス: 処理完了
システム内更新日: 2022-09-14 12:22:45.494385
Title: Patching Weak Convolutional Neural Network Models through Modularization and Composition
Title（参考訳）: モジュール化と合成による弱畳み込みニューラルネットワークモデル
Authors: Binhang Qi, Hailong Sun, Xiang Gao, Hongyu Zhang
Abstract要約: 分類タスクのための畳み込みニューロンネットワーク(CNN)モデルは、しばしば不満足に機能する。圧縮モジュラー化手法であるCNNSplitterを提案し、$N$クラス分類のための強力なCNNモデルを$N$より小さなCNNモジュールに分解する。 CNNSplitterは、モジュール化と構成により弱いCNNモデルにパッチを適用できることを示し、ロバストなCNNモデルを開発するための新しいソリューションを提供する。
参考スコア（独自算出の注目度）: 19.986199290508925
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite great success in many applications, deep neural networks are not always robust in practice. For instance, a convolutional neuron network (CNN) model for classification tasks often performs unsatisfactorily in classifying some particular classes of objects. In this work, we are concerned with patching the weak part of a CNN model instead of improving it through the costly retraining of the entire model. Inspired by the fundamental concepts of modularization and composition in software engineering, we propose a compressed modularization approach, CNNSplitter, which decomposes a strong CNN model for $N$-class classification into $N$ smaller CNN modules. Each module is a sub-model containing a part of the convolution kernels of the strong model. To patch a weak CNN model that performs unsatisfactorily on a target class (TC), we compose the weak CNN model with the corresponding module obtained from a strong CNN model. The ability of the weak CNN model to recognize the TC can thus be improved through patching. Moreover, the ability to recognize non-TCs is also improved, as the samples misclassified as TC could be classified as non-TCs correctly. Experimental results with two representative CNNs on three widely-used datasets show that the averaged improvement on the TC in terms of precision and recall are 12.54% and 2.14%, respectively. Moreover, patching improves the accuracy of non-TCs by 1.18%. The results demonstrate that CNNSplitter can patch a weak CNN model through modularization and composition, thus providing a new solution for developing robust CNN models.
Abstract（参考訳）: 多くのアプリケーションで大きな成功を収めているが、ディープニューラルネットワークは必ずしも堅牢ではない。例えば、分類タスクのための畳み込みニューロンネットワーク(cnn)モデルは、しばしば特定の種類のオブジェクトの分類において不十分に機能する。本研究では,CNNモデルの弱い部分を,コストのかかるモデル全体の再トレーニングによって改善するのではなく,パッチを当てることに関心がある。ソフトウェア工学におけるモジュール化と構成という基本的な概念に触発され、圧縮モジュール化アプローチであるcnnsplitterを提案し、n$-class分類のための強力なcnnモデルをより小さなcnnモジュールに分解する。各モジュールは、強モデルの畳み込みカーネルの一部を含むサブモデルである。ターゲットクラス(TC)で不満足に機能する弱いCNNモデルをパッチするために、弱いCNNモデルと強力なCNNモデルから得られる対応するモジュールを合成する。したがって、弱いCNNモデルのTC認識能力はパッチ適用によって改善される。さらに、TCと誤分類されたサンプルを非TCと正しく分類できるため、非TCを認識する能力も向上した。広く使われている3つのデータセットに対する2つの代表的CNNによる実験の結果、TCにおける精度とリコールの平均改善率は12.54%と2.14%である。さらに、パッチは非TCの精度を1.18%向上させる。その結果、CNNSplitterはモジュール化と構成により弱いCNNモデルにパッチを当てることができ、ロバストなCNNモデルを開発するための新しいソリューションを提供することが示された。

関連論文リスト

OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
論文参考訳（メタデータ） (2024-03-21T14:06:38Z)
Reusing Convolutional Neural Network Models through Modularization and Composition [22.823870645316397]
我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。 CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
論文参考訳（メタデータ） (2023-11-08T03:18:49Z)
Robust Mixture-of-Expert Training for Convolutional Neural Networks [141.3531209949845]
スパースゲート型Mixture of Expert (MoE) は高精度で超効率的なモデル推論を実現するための大きな可能性を実証している。本稿では、AdvMoEと呼ばれるMoEのための新しいルータ-エキスパート交互学習フレームワークを提案する。その結果,AdvMoEは従来の高密度CNNに比べて1%の対向ロバスト性向上を実現し,親和性に富むMoEの有効性を享受できることがわかった。
論文参考訳（メタデータ） (2023-08-19T20:58:21Z)
Exploiting Hybrid Models of Tensor-Train Networks for Spoken Command Recognition [9.262289183808035]
本研究の目的は,低複雑性音声コマンド認識(SCR)システムの設計である。我々は、テンソルトレイン(TT)ネットワークの深いハイブリッドアーキテクチャを利用して、エンドツーエンドのSRCパイプラインを構築する。提案したCNN+(TT-DNN)モデルでは,CNNモデルより4倍少ないモデルパラメータで96.31%の競争精度が得られる。
論文参考訳（メタデータ） (2022-01-11T05:57:38Z)
Decomposing Convolutional Neural Networks into Reusable and Replaceable Modules [15.729284470106826]
本稿では,画像分類問題に使用されるCNNモデルを,各出力クラスのモジュールに分解する。これらのモジュールはさらに再利用したり、新しいモデルを構築するために置き換えることができる。我々は、CIFAR-10、CIFAR-100、ImageNetの3種類のResNetモデルを用いて、我々のアプローチを評価した。
論文参考訳（メタデータ） (2021-10-11T20:41:50Z)
Transformed CNNs: recasting pre-trained convolutional layers with self-attention [17.96659165573821]
視覚変換器(ViT)は、畳み込みネットワーク(CNN)の強力な代替手段として登場した。本研究では、これらレイヤを畳み込み層として初期化することによって、これらのレイヤのトレーニングに要する時間を短縮するアイデアについて検討する。微調整は50回しか行われず、結果として得られたT-CNNの性能は著しく向上した。
論文参考訳（メタデータ） (2021-06-10T14:56:10Z)
BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文参考訳（メタデータ） (2021-03-14T20:43:19Z)
ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文参考訳（メタデータ） (2020-09-04T20:41:47Z)
Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement [53.47564132861866]
我々は、CNN-TTというハイブリッドアーキテクチャが、モデルパラメータを小さくして高品質な性能を維持することができることを見出した。 CNN-TTは、音声品質を改善するために、特徴抽出のために下部に複数の畳み込み層で構成されている。
論文参考訳（メタデータ） (2020-07-25T22:21:05Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。