Fugu-MT 論文翻訳(概要): Decomposing Convolutional Neural Networks into Reusable and Replaceable Modules

論文の概要: Decomposing Convolutional Neural Networks into Reusable and Replaceable Modules

arxiv url: http://arxiv.org/abs/2110.07720v1
Date: Mon, 11 Oct 2021 20:41:50 GMT
ステータス: 処理完了
システム内更新日: 2021-10-24 13:30:55.362487
Title: Decomposing Convolutional Neural Networks into Reusable and Replaceable Modules
Title（参考訳）: 畳み込みニューラルネットワークを再利用および置き換え可能なモジュールに分解する
Authors: Rangeet Pan and Hridesh Rajan
Abstract要約: 本稿では,画像分類問題に使用されるCNNモデルを,各出力クラスのモジュールに分解する。これらのモジュールはさらに再利用したり、新しいモデルを構築するために置き換えることができる。我々は、CIFAR-10、CIFAR-100、ImageNetの3種類のResNetモデルを用いて、我々のアプローチを評価した。
参考スコア（独自算出の注目度）: 15.729284470106826
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training from scratch is the most common way to build a Convolutional Neural Network (CNN) based model. What if we can build new CNN models by reusing parts from previously build CNN models? What if we can improve a CNN model by replacing (possibly faulty) parts with other parts? In both cases, instead of training, can we identify the part responsible for each output class (module) in the model(s) and reuse or replace only the desired output classes to build a model? Prior work has proposed decomposing dense-based networks into modules (one for each output class) to enable reusability and replaceability in various scenarios. However, this work is limited to the dense layers and based on the one-to-one relationship between the nodes in consecutive layers. Due to the shared architecture in the CNN model, prior work cannot be adapted directly. In this paper, we propose to decompose a CNN model used for image classification problems into modules for each output class. These modules can further be reused or replaced to build a new model. We have evaluated our approach with CIFAR-10, CIFAR-100, and ImageNet tiny datasets with three variations of ResNet models and found that enabling decomposition comes with a small cost (2.38% and 0.81% for top-1 and top-5 accuracy, respectively). Also, building a model by reusing or replacing modules can be done with a 2.3% and 0.5% average loss of accuracy. Furthermore, reusing and replacing these modules reduces CO2e emission by ~37 times compared to training the model from scratch.
Abstract（参考訳）: スクラッチからのトレーニングは、畳み込みニューラルネットワーク(CNN)ベースのモデルを構築する最も一般的な方法である。以前のCNNモデルから部品を再利用することで、新しいCNNモデルを構築することができるとしたらどうでしょう? もし私たちが(おそらく欠陥のある)部品を他の部品に置き換えることで、CNNモデルを改善することができるとしたら? どちらの場合でも、トレーニングの代わりに、モデル内の各出力クラス(モジュール)に責任を持つ部分を特定し、モデルを構築するのに必要な出力クラスのみを再利用したり置き換えたりできますか? これまでの研究では、様々なシナリオで再利用性と置換性を実現するために、高密度ネットワークをモジュール(出力クラス毎に1つ)に分解することを提案した。しかし、この作業は密度の高い層に限定され、連続する層内のノード間の1対1の関係に基づいている。 CNNモデルの共有アーキテクチャのため、事前の作業を直接適用することはできない。本稿では,画像分類問題に使用されるCNNモデルを,各出力クラスのモジュールに分解することを提案する。これらのモジュールはさらに再利用したり、新しいモデルを構築するために置き換えることができる。我々は,3種類のresnetモデルを用いたcifar-10,cifar-100,imagenetの小さなデータセットを用いて,このアプローチを評価した。また、モジュールの再利用や置き換えによるモデルの構築は平均2.3%と0.5%の精度で行うことができる。さらに、これらのモジュールの再利用と置換は、モデルをスクラッチからトレーニングするよりも、CO2e排出量を約37倍削減する。

関連論文リスト

Puppet-CNN: Input-Adaptive Convolutional Neural Networks with Model Compression using Ordinary Differential Equation [5.453850739960517]
我々は2つのモジュールを含む新しいCNNフレームワークを$textitPuppet-CNN$として提案する。パペットモジュールは、他の作業と同じように入力データを処理するために使用されるCNNモデルである。人形モジュール内でカーネルパラメータを繰り返し生成することにより、異なる畳み込み層のカーネル間の依存を利用してCNNモデルのサイズを大幅に削減することができる。
論文参考訳（メタデータ） (2024-11-19T21:44:21Z)
Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
論文参考訳（メタデータ） (2024-04-02T17:58:49Z)
Jointly Training and Pruning CNNs via Learnable Agent Guidance and Alignment [69.33930972652594]
本稿では,CNNモデルの重みと構造的プーン構造を協調的に学習するための新しい構造的プルーニング手法を提案する。本手法の中核となる要素は強化学習(RL)エージェントであり,その動作がCNNモデルの階層のプルーニング比を決定する。我々は,モデルの重みとエージェントのポリシーを反復的に訓練し,共同訓練と刈り取りを行う。
論文参考訳（メタデータ） (2024-03-28T15:22:29Z)
Reusing Convolutional Neural Network Models through Modularization and Composition [22.823870645316397]
我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。 CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
論文参考訳（メタデータ） (2023-11-08T03:18:49Z)
Modularizing while Training: A New Paradigm for Modularizing DNN Models [20.892788625187702]
モデルトレーニングプロセス,すなわちモジュール化時トレーニング(MwT)にモジュール化を取り入れた新しいアプローチを提案する。 MwTによる精度損失は1.13ポイントであり、ベースラインよりも1.76ポイント少ない。トレーニングとモジュール化に必要な総時間費用は,ベースラインの半分の108分に過ぎません。
論文参考訳（メタデータ） (2023-06-15T07:45:43Z)
Decomposing a Recurrent Neural Network into Modules for Enabling Reusability and Replacement [11.591247347259317]
RNNをモジュールに分解する最初の手法を提案する。我々は,Vanilla,LSTM,GRUなど,さまざまな種類のRNNを研究している。本稿では,RNNモジュールを再利用し,様々なシナリオで置き換える方法について述べる。
論文参考訳（メタデータ） (2022-12-09T03:29:38Z)
Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文参考訳（メタデータ） (2022-09-15T15:41:47Z)
Patching Weak Convolutional Neural Network Models through Modularization and Composition [19.986199290508925]
分類タスクのための畳み込みニューロンネットワーク(CNN)モデルは、しばしば不満足に機能する。圧縮モジュラー化手法であるCNNSplitterを提案し、$N$クラス分類のための強力なCNNモデルを$N$より小さなCNNモジュールに分解する。 CNNSplitterは、モジュール化と構成により弱いCNNモデルにパッチを適用できることを示し、ロバストなCNNモデルを開発するための新しいソリューションを提供する。
論文参考訳（メタデータ） (2022-09-11T15:26:16Z)
A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文参考訳（メタデータ） (2021-08-30T06:09:02Z)
MutualNet: Adaptive ConvNet via Mutual Learning from Different Model Configurations [51.85020143716815]
MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。 MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
論文参考訳（メタデータ） (2021-05-14T22:30:13Z)
Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。