論文の概要: Examining and Mitigating Kernel Saturation in Convolutional Neural
Networks using Negative Images
- arxiv url: http://arxiv.org/abs/2105.04128v1
- Date: Mon, 10 May 2021 06:06:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:36:16.917067
- Title: Examining and Mitigating Kernel Saturation in Convolutional Neural
Networks using Negative Images
- Title（参考訳）: 負画像を用いた畳み込みニューラルネットワークにおけるカーネル飽和度の検討と緩和
- Authors: Nidhi Gowdra, Roopak Sinha and Stephen MacDonell
- Abstract要約: CNNにおける畳み込みカーネル飽和の影響を解析する。
トレーニングデータセットに負の画像を追加することで、飽和を緩和し、分類精度を高めるための単純なデータ増強技術を提案する。
以上の結果から,CNNは畳み込みカーネル飽和の影響を受けやすく,トレーニングデータセットに負のイメージを補うことで,分類精度が統計的に顕著に向上する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 0.8594140167290097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural saturation in Deep Neural Networks (DNNs) has been studied
extensively, but remains relatively unexplored in Convolutional Neural Networks
(CNNs). Understanding and alleviating the effects of convolutional kernel
saturation is critical for enhancing CNN models classification accuracies. In
this paper, we analyze the effect of convolutional kernel saturation in CNNs
and propose a simple data augmentation technique to mitigate saturation and
increase classification accuracy, by supplementing negative images to the
training dataset. We hypothesize that greater semantic feature information can
be extracted using negative images since they have the same structural
information as standard images but differ in their data representations. Varied
data representations decrease the probability of kernel saturation and thus
increase the effectiveness of kernel weight updates. The two datasets selected
to evaluate our hypothesis were CIFAR- 10 and STL-10 as they have similar image
classes but differ in image resolutions thus making for a better understanding
of the saturation phenomenon. MNIST dataset was used to highlight the
ineffectiveness of the technique for linearly separable data. The ResNet CNN
architecture was chosen since the skip connections in the network ensure the
most important features contributing the most to classification accuracy are
retained. Our results show that CNNs are indeed susceptible to convolutional
kernel saturation and that supplementing negative images to the training
dataset can offer a statistically significant increase in classification
accuracies when compared against models trained on the original datasets. Our
results present accuracy increases of 6.98% and 3.16% on the STL-10 and
CIFAR-10 datasets respectively.
- Abstract（参考訳）: 深層ニューラルネットワーク(dnn)の神経飽和度は広く研究されているが、畳み込みニューラルネットワーク(cnns)では、比較的未解明のままである。
畳み込み核飽和の効果の理解と緩和は、cnnモデルの分類精度を高めるために重要である。
本稿では,cnnにおける畳み込み核飽和の影響を分析し,トレーニングデータセットに負のイメージを補足することにより,飽和を緩和し,分類精度を向上させるための簡易データ拡張手法を提案する。
標準画像と同じ構造情報を持つが、データ表現が異なるため、負の画像を用いて意味的特徴情報を抽出することができると仮定する。
異なるデータ表現は、カーネル飽和の確率を減少させ、カーネル重み更新の有効性を高める。
この仮説を評価するために選択された2つのデータセットは、類似した画像クラスを持つcifar-10とstl-10であった。
MNISTデータセットは線形分離可能データの非効率性を強調するために用いられた。
ResNet CNNアーキテクチャは、ネットワーク内のスキップ接続が、分類精度に最も寄与する最も重要な特徴を維持するために選ばれた。
その結果,cnnは畳み込み型カーネル飽和の影響を受けやすく,トレーニングデータセットに負のイメージを補足することで,元のデータセットでトレーニングされたモデルと比較した場合の分類精度が統計的に有意に向上することが示された。
その結果,STL-10データセットとCIFAR-10データセットでは,それぞれ6.98%,3.16%の精度が得られた。
関連論文リスト
- Tensor network compressibility of convolutional models [0.0]
我々は,CNNの畳み込みカーネル(拡張されていない)が,その精度に与える影響を評価する。
カーネルはしばしばいくつかのカットに沿って切り替わることができ、カーネルノルムは著しく低下するが、分類精度は低下しないことがわかった。
論文 参考訳（メタデータ） (2024-03-21T13:12:33Z) - When do Convolutional Neural Networks Stop Learning? [0.0]
畳み込みニューラルネットワーク(CNN)はコンピュータビジョンタスクにおいて優れた性能を示した。
現在の実践は、トレーニング損失が減少し、トレーニングと検証エラーの間のギャップが増加すると、トレーニングをやめることである。
この研究は、CNNの変種の全層にわたるデータ変動を分析し、その準最適学習能力を予測する仮説を導入している。
論文 参考訳（メタデータ） (2024-03-04T20:35:09Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳（メタデータ） (2021-10-25T21:01:00Z) - An Interaction-based Convolutional Neural Network (ICNN) Towards Better
Understanding of COVID-19 X-ray Images [0.0]
本稿では,局所情報の関連性を仮定しない対話型畳み込みニューラルネットワーク(ICNN)を提案する。
提案手法は、新型コロナウイルスのチェストX線画像を分類した実世界のデータセット上で、99.8%の最先端予測性能を実現する。
論文 参考訳（メタデータ） (2021-06-13T04:41:17Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - Fusion of CNNs and statistical indicators to improve image
classification [65.51757376525798]
畳み込みネットワークは過去10年間、コンピュータビジョンの分野を支配してきた。
この傾向を長引かせる主要な戦略は、ネットワーク規模の拡大によるものだ。
我々は、異種情報ソースを追加することは、より大きなネットワークを構築するよりもCNNにとって費用対効果が高いと仮定している。
論文 参考訳（メタデータ） (2020-12-20T23:24:31Z) - On the Performance of Convolutional Neural Networks under High and Low
Frequency Information [13.778851745408133]
画像の高周波・低周波情報に対するCNNモデルの性能について検討する。
トレーニング中のフィルタリングに基づくデータ拡張を提案する。
堅牢性と低周波の一般化の観点から,良好な性能向上が観察されている。
論文 参考訳（メタデータ） (2020-10-30T17:54:45Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳（メタデータ） (2020-07-07T11:27:43Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z) - Improving STDP-based Visual Feature Learning with Whitening [1.9981375888949475]
本稿では,STDPで特徴を学習する前に,白化を前処理ステップとして用いることを提案する。
CIFAR-10の実験では、標準的なニューラルネットワークで学んだものに近い視覚的特徴をSTDPが学習できることが示されている。
また,ニューロモルフィックハードウェアに実装するのに適した,学習コストがより安価である,畳み込みカーネルとしての白化の近似も提案する。
論文 参考訳（メタデータ） (2020-02-24T11:48:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。