論文の概要: Decomposing Convolutional Neural Networks into Reusable and Replaceable
Modules
- arxiv url: http://arxiv.org/abs/2110.07720v1
- Date: Mon, 11 Oct 2021 20:41:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-24 13:30:55.362487
- Title: Decomposing Convolutional Neural Networks into Reusable and Replaceable
Modules
- Title(参考訳): 畳み込みニューラルネットワークを再利用および置き換え可能なモジュールに分解する
- Authors: Rangeet Pan and Hridesh Rajan
- Abstract要約: 本稿では,画像分類問題に使用されるCNNモデルを,各出力クラスのモジュールに分解する。
これらのモジュールはさらに再利用したり、新しいモデルを構築するために置き換えることができる。
我々は、CIFAR-10、CIFAR-100、ImageNetの3種類のResNetモデルを用いて、我々のアプローチを評価した。
- 参考スコア(独自算出の注目度): 15.729284470106826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training from scratch is the most common way to build a Convolutional Neural
Network (CNN) based model. What if we can build new CNN models by reusing parts
from previously build CNN models? What if we can improve a CNN model by
replacing (possibly faulty) parts with other parts? In both cases, instead of
training, can we identify the part responsible for each output class (module)
in the model(s) and reuse or replace only the desired output classes to build a
model? Prior work has proposed decomposing dense-based networks into modules
(one for each output class) to enable reusability and replaceability in various
scenarios. However, this work is limited to the dense layers and based on the
one-to-one relationship between the nodes in consecutive layers. Due to the
shared architecture in the CNN model, prior work cannot be adapted directly. In
this paper, we propose to decompose a CNN model used for image classification
problems into modules for each output class. These modules can further be
reused or replaced to build a new model. We have evaluated our approach with
CIFAR-10, CIFAR-100, and ImageNet tiny datasets with three variations of ResNet
models and found that enabling decomposition comes with a small cost (2.38% and
0.81% for top-1 and top-5 accuracy, respectively). Also, building a model by
reusing or replacing modules can be done with a 2.3% and 0.5% average loss of
accuracy. Furthermore, reusing and replacing these modules reduces CO2e
emission by ~37 times compared to training the model from scratch.
- Abstract(参考訳): スクラッチからのトレーニングは、畳み込みニューラルネットワーク(CNN)ベースのモデルを構築する最も一般的な方法である。
以前のCNNモデルから部品を再利用することで、新しいCNNモデルを構築することができるとしたらどうでしょう?
もし私たちが(おそらく欠陥のある)部品を他の部品に置き換えることで、CNNモデルを改善することができるとしたら?
どちらの場合でも、トレーニングの代わりに、モデル内の各出力クラス(モジュール)に責任を持つ部分を特定し、モデルを構築するのに必要な出力クラスのみを再利用したり置き換えたりできますか?
これまでの研究では、様々なシナリオで再利用性と置換性を実現するために、高密度ネットワークをモジュール(出力クラス毎に1つ)に分解することを提案した。
しかし、この作業は密度の高い層に限定され、連続する層内のノード間の1対1の関係に基づいている。
CNNモデルの共有アーキテクチャのため、事前の作業を直接適用することはできない。
本稿では,画像分類問題に使用されるCNNモデルを,各出力クラスのモジュールに分解することを提案する。
これらのモジュールはさらに再利用したり、新しいモデルを構築するために置き換えることができる。
我々は,3種類のresnetモデルを用いたcifar-10,cifar-100,imagenetの小さなデータセットを用いて,このアプローチを評価した。
また、モジュールの再利用や置き換えによるモデルの構築は平均2.3%と0.5%の精度で行うことができる。
さらに、これらのモジュールの再利用と置換は、モデルをスクラッチからトレーニングするよりも、CO2e排出量を約37倍削減する。
関連論文リスト
- Reusing Convolutional Neural Network Models through Modularization and
Composition [22.823870645316397]
我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。
CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。
生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
論文 参考訳(メタデータ) (2023-11-08T03:18:49Z) - Modularizing while Training: A New Paradigm for Modularizing DNN Models [20.892788625187702]
モデルトレーニングプロセス,すなわちモジュール化時トレーニング(MwT)にモジュール化を取り入れた新しいアプローチを提案する。
MwTによる精度損失は1.13ポイントであり、ベースラインよりも1.76ポイント少ない。
トレーニングとモジュール化に必要な総時間費用は,ベースラインの半分の108分に過ぎません。
論文 参考訳(メタデータ) (2023-06-15T07:45:43Z) - Decomposing a Recurrent Neural Network into Modules for Enabling
Reusability and Replacement [11.591247347259317]
RNNをモジュールに分解する最初の手法を提案する。
我々は,Vanilla,LSTM,GRUなど,さまざまな種類のRNNを研究している。
本稿では,RNNモジュールを再利用し,様々なシナリオで置き換える方法について述べる。
論文 参考訳(メタデータ) (2022-12-09T03:29:38Z) - Deep Model Assembling [31.88606253639418]
本稿では,大規模モデルをトレーニングするための分割・分散戦略について検討する。
大きなモデルを小さなモジュールに分割し、個別にトレーニングし、トレーニングされたモジュールを再組み立てしてターゲットモデルを取得する。
すべてのモジュールを暗黙的にリンクするグローバルな共有メタモデルを導入します。
これにより、組み立てられた時に効果的に協調する高度に互換性のあるモジュールをトレーニングできます。
論文 参考訳(メタデータ) (2022-12-08T08:04:06Z) - Deep Model Reassembly [60.6531819328247]
我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。
DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。
ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
論文 参考訳(メタデータ) (2022-10-24T10:16:13Z) - Part-Based Models Improve Adversarial Robustness [57.699029966800644]
人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。
我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。
実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
論文 参考訳(メタデータ) (2022-09-15T15:41:47Z) - Patching Weak Convolutional Neural Network Models through Modularization
and Composition [19.986199290508925]
分類タスクのための畳み込みニューロンネットワーク(CNN)モデルは、しばしば不満足に機能する。
圧縮モジュラー化手法であるCNNSplitterを提案し、$N$クラス分類のための強力なCNNモデルを$N$より小さなCNNモジュールに分解する。
CNNSplitterは、モジュール化と構成により弱いCNNモデルにパッチを適用できることを示し、ロバストなCNNモデルを開発するための新しいソリューションを提供する。
論文 参考訳(メタデータ) (2022-09-11T15:26:16Z) - A Battle of Network Structures: An Empirical Study of CNN, Transformer,
and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。
トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。
本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文 参考訳(メタデータ) (2021-08-30T06:09:02Z) - MutualNet: Adaptive ConvNet via Mutual Learning from Different Model
Configurations [51.85020143716815]
MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。
提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。
MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
論文 参考訳(メタデータ) (2021-05-14T22:30:13Z) - Adaptive Aggregation Networks for Class-Incremental Learning [102.20140790771265]
CIL(Class-Incremental Learning)は,段階別クラス数の増加にともなう分類モデルを学習することを目的としている。
CILの固有の問題は、古いクラスと新しいクラスの学習の間の安定性-塑性ジレンマである。
論文 参考訳(メタデータ) (2020-10-10T18:24:24Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。