論文の概要: Exploring the parameter reusability of CNN
- arxiv url: http://arxiv.org/abs/2008.03411v2
- Date: Fri, 18 Sep 2020 04:23:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 11:47:50.684452
- Title: Exploring the parameter reusability of CNN
- Title（参考訳）: CNNのパラメータ再利用可能性を探る
- Authors: Wei Wang, Lin Cheng, Yanjie Zhu, Dong Liang
- Abstract要約: 本稿では,コンボリューションカーネルの再利用性能に基づいて,あるネットワークが再利用可能なかどうかを判定できるソリューションを提案する。
まず、ネットワークは再利用可能なネットワークであり、次に、ソースドメインとターゲットドメインとの畳み込みカーネル間のRMSEは十分小さい。
- 参考スコア（独自算出の注目度）: 12.654187477646449
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent times, using small data to train networks has become a hot topic in
the field of deep learning. Reusing pre-trained parameters is one of the most
important strategies to address the issue of semi-supervised and transfer
learning. However, the fundamental reason for the success of these methods is
still unclear. In this paper, we propose a solution that can not only judge
whether a given network is reusable or not based on the performance of reusing
convolution kernels but also judge which layers' parameters of the given
network can be reused, based on the performance of reusing corresponding
parameters and, ultimately, judge whether those parameters are reusable or not
in a target task based on the root mean square error (RMSE) of the
corresponding convolution kernels. Specifically, we define that the success of
a CNN's parameter reuse depends upon two conditions: first, the network is a
reusable network; and second, the RMSE between the convolution kernels from the
source domain and target domain is small enough. The experimental results
demonstrate that the performance of reused parameters applied to target tasks,
when these conditions are met, is significantly improved.
- Abstract（参考訳）: 近年、ネットワークのトレーニングに小さなデータを使うことは、ディープラーニングの分野でホットな話題となっている。
事前訓練されたパラメータの再利用は、半教師付きおよび移動学習の問題に対処する最も重要な戦略の1つである。
しかし、これらの手法が成功した根本的な理由はいまだ不明である。
本稿では,畳み込みカーネルの性能に基づいて,あるネットワークが再利用可能なかどうかを判断するだけでなく,対応するパラメータの再利用性能に基づいて,与えられたネットワークのどのレイヤのパラメータを再利用できるかを判断し,最終的に,対応する畳み込みカーネルの根平均二乗誤差(rmse)に基づいて対象タスクにおいてそれらのパラメータが再利用可能なかどうかを判定する手法を提案する。
具体的には、CNNのパラメータ再利用の成功は、ネットワークが再利用可能なネットワークであることと、ソースドメインとターゲットドメインとの畳み込みカーネル間のRMSEが十分に小さいことの2つの条件に依存すると定義する。
実験により,これらの条件が満たされた場合,対象タスクに適用した再利用パラメータの性能が大幅に向上したことを示す。
関連論文リスト
- Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation [0.0]
本稿では、パラメータに基づく不確実性を用いて、ネットワークの学習機能に関連するパラメータを決定することを提案する。
平均テスト精度と後方転送の指標に対する連続学習性能の改善を示す。
論文 参考訳（メタデータ） (2025-01-18T19:58:53Z) - NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。
ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。
報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
論文 参考訳（メタデータ） (2024-10-24T11:36:19Z) - Partial Network Cloning [58.83278629019384]
PNCはソースネットワークから部分パラメトリックの「クローズニング」を実行し、クローン化されたモジュールをターゲットに注入する。
本手法はパラメータ調整法と比較して精度が5%向上し,局所性が50%向上した。
論文 参考訳（メタデータ） (2023-03-19T08:20:31Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - An Experimental Study of the Impact of Pre-training on the Pruning of a
Convolutional Neural Network [0.0]
近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。
ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。
プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
論文 参考訳（メタデータ） (2021-12-15T16:02:15Z) - Lost in Pruning: The Effects of Pruning Neural Networks beyond Test
Accuracy [42.15969584135412]
ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。
試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。
刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
論文 参考訳（メタデータ） (2021-03-04T13:22:16Z) - Using UNet and PSPNet to explore the reusability principle of CNN
parameters [5.623232537411766]
深層畳み込みニューラルネットワークの各層におけるパラメータの再利用性を実験的に定量化する。
平均値と分散の実行は、BN層におけるWeightやBiasよりも重要な役割を担います。
畳み込みレイヤのバイアスはセンシティブではなく、直接再利用することができる。
論文 参考訳（メタデータ） (2020-08-08T01:51:08Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z) - Progressive Skeletonization: Trimming more fat from a network at
initialization [76.11947969140608]
本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。
次に、目的を最大化する2つの近似手順を提案する。
提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-06-16T11:32:47Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳（メタデータ） (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。