論文の概要: Using UNet and PSPNet to explore the reusability principle of CNN parameters

• arxiv url: http://arxiv.org/abs/2008.03414v1
• Date: Sat, 8 Aug 2020 01:51:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 11:47:00.063973
• Title: Using UNet and PSPNet to explore the reusability principle of CNN parameters
• Title（参考訳）: unet と pspnet を用いた cnn パラメータの再利用可能性原理の検討
• Authors: Wei Wang
• Abstract要約: 深層畳み込みニューラルネットワークの各層におけるパラメータの再利用性を実験的に定量化する。 平均値と分散の実行は、BN層におけるWeightやBiasよりも重要な役割を担います。 畳み込みレイヤのバイアスはセンシティブではなく、直接再利用することができる。
• 参考スコア（独自算出の注目度）: 5.623232537411766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to reduce the requirement on training dataset size is a hot topic in deep learning community. One straightforward way is to reuse some pre-trained parameters. Some previous work like Deep transfer learning reuse the model parameters trained for the first task as the starting point for the second task, and semi-supervised learning is trained upon a combination of labeled and unlabeled data. However, the fundamental reason of the success of these methods is unclear. In this paper, the reusability of parameters in each layer of a deep convolutional neural network is experimentally quantified by using a network to do segmentation and auto-encoder task. This paper proves that network parameters can be reused for two reasons: first, the network features are general; Second, there is little difference between the pre-trained parameters and the ideal network parameters. Through the use of parameter replacement and comparison, we demonstrate that reusability is different in BN(Batch Normalization)[7] layer and Convolution layer and some observations: (1)Running mean and running variance plays an important role than Weight and Bias in BN layer.(2)The weight and bias can be reused in BN layers.( 3) The network is very sensitive to the weight of convolutional layer.(4) The bias in Convolution layers are not sensitive, and it can be reused directly.
• Abstract（参考訳）: データセットサイズをトレーニングする際の要件の削減は、ディープラーニングコミュニティでホットなトピックだ。 簡単な方法は、事前訓練されたパラメータを再利用することだ。 例えば、Deep Transfer Learningは、第1タスクのためにトレーニングされたモデルパラメータを第2タスクの開始点として再利用し、ラベル付きデータとラベルなしデータの組み合わせに基づいてセミ教師付き学習をトレーニングする。 しかし、これらの手法が成功した根本的な理由は不明である。 本稿では,ディープ畳み込みニューラルネットワークの各層におけるパラメータの再利用性を,セグメンテーションと自動エンコーダタスクを行うネットワークを用いて実験的に定量化する。 本稿では,ネットワークパラメータの再利用が2つの理由として,ネットワークの特徴が一般化されていること,事前学習したパラメータと理想的なネットワークパラメータとの差がほとんどないことを示す。 パラメータ置換と比較により,bn(batch normalization)[7]層と畳み込み層では再利用性が異なること,およびいくつかの観察結果を示す。 (2)重量とバイアスはbn層で再利用できる。 ( 3)ネットワークは畳み込み層の重みに非常に敏感である。 (4) 畳み込み層のバイアスは敏感ではなく、直接再利用することができる。

関連論文リスト

• NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
  本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。 ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。 報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
  論文  参考訳（メタデータ） (2024-10-24T11:36:19Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network [0.0]
  近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。 ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。 プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
  論文  参考訳（メタデータ） (2021-12-15T16:02:15Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Exploring the parameter reusability of CNN [12.654187477646449]
  本稿では,コンボリューションカーネルの再利用性能に基づいて,あるネットワークが再利用可能なかどうかを判定できるソリューションを提案する。 まず、ネットワークは再利用可能なネットワークであり、次に、ソースドメインとターゲットドメインとの畳み込みカーネル間のRMSEは十分小さい。
  論文  参考訳（メタデータ） (2020-08-08T01:23:22Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。