論文の概要: SelectScale: Mining More Patterns from Images via Selective and Soft Dropout

• arxiv url: http://arxiv.org/abs/2012.15766v1
• Date: Mon, 30 Nov 2020 12:15:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 14:41:52.397311
• Title: SelectScale: Mining More Patterns from Images via Selective and Soft Dropout
• Title（参考訳）: SelectScale:選択型とソフトドロップアウトによる画像からのパターンのマイニング
• Authors: Zhengsu Chen, Jianwei Niu, Xuefeng Liu and Shaojie Tang
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は画像認識において顕著な成功を収めている。 本稿では、ネットワークの重要な機能を選択し、トレーニング中に調整するSelectScaleを提案する。 SelectScale を用いて,CIFAR および ImageNet 上での CNN の性能を向上する。
• 参考スコア（独自算出の注目度）: 35.066419181817594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have achieved remarkable success in image recognition. Although the internal patterns of the input images are effectively learned by the CNNs, these patterns only constitute a small proportion of useful patterns contained in the input images. This can be attributed to the fact that the CNNs will stop learning if the learned patterns are enough to make a correct classification. Network regularization methods like dropout and SpatialDropout can ease this problem. During training, they randomly drop the features. These dropout methods, in essence, change the patterns learned by the networks, and in turn, forces the networks to learn other patterns to make the correct classification. However, the above methods have an important drawback. Randomly dropping features is generally inefficient and can introduce unnecessary noise. To tackle this problem, we propose SelectScale. Instead of randomly dropping units, SelectScale selects the important features in networks and adjusts them during training. Using SelectScale, we improve the performance of CNNs on CIFAR and ImageNet.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は画像認識において大きな成功を収めている。 入力画像の内部パターンはCNNによって効果的に学習されるが、これらのパターンは入力画像に含まれる有用なパターンのごく一部を構成する。 これは、CNNが学習パターンが正しい分類を行うのに十分であるかどうかを学ぶのをやめるという事実に起因する。 ドロップアウトやSpatialDropoutのようなネットワーク正規化手法はこの問題を緩和する。 トレーニング中は、ランダムに特徴を落とします。 これらのドロップアウト手法は本質的に、ネットワークが学習したパターンを変更し、ネットワークが他のパターンを学習して正しい分類を行うように強制する。 しかし、上記の方法には大きな欠点がある。 ランダムに削除する機能は一般的に効率が悪く、不要なノイズが発生する可能性がある。 この問題に対処するため,SelectScaleを提案する。 ランダムにユニットをドロップする代わりに、SelectScaleはネットワークの重要な機能を選択し、トレーニング中に調整する。 SelectScale を用いて,CIFAR および ImageNet 上での CNN の性能を向上する。

関連論文リスト

• Training Convolutional Neural Networks with the Forward-Forward algorithm [1.74440662023704]
  Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。 FFパラダイムをCNNに拡張する方法を示す。 我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
  論文  参考訳（メタデータ） (2023-12-22T18:56:35Z)
• Random Padding Data Augmentation [23.70951896315126]
  畳み込みニューラルネットワーク(CNN)は、画像内の異なる位置で同じ物体を学習する。 CNNにおける特徴情報の空間的情報の有用性はよく研究されていない。 我々はCNNを訓練するための新しいタイプのパディング手法であるランダムパディングを紹介する。
  論文  参考訳（メタデータ） (2023-02-17T04:15:33Z)
• Background Invariant Classification on Infrared Imagery by Data Efficient Training and Reducing Bias in CNNs [1.2891210250935146]
  畳み込みニューラルネットワークは 画像中の物体を 正確に分類できます ネットワークの注意が常にシーンのセマンティックな重要な領域にあるとは限らないことはよく知られている。 我々は、赤外線画像とRGBデータの両方におけるCNNのバイアスを低減するために、textitsplit trainingと呼ばれる2段階のトレーニング手順を提案する。
  論文  参考訳（メタデータ） (2022-01-22T23:29:42Z)
• Learning to ignore: rethinking attention in CNNs [87.01305532842878]
  我々は,CNNの注意機構を再構築し,出席する学習ではなく無視することを学ぶことを提案する。 具体的には、シーン内で無関係な情報を明示的に学習し、生成した表現でそれを抑えることを提案する。
  論文  参考訳（メタデータ） (2021-11-10T13:47:37Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• AutoDropout: Learning Dropout Patterns to Regularize Deep Networks [82.28118615561912]
  ドロップアウトまたは重量減衰方法は、ネットワークの入力と隠された状態の構造を利用しません。 本手法は,CIFAR-10 と ImageNet 上の画像認識と Penn Treebank および WikiText-2 上の言語モデリングに有効であることを示す。 学習したドロップアウトパターンは、penn treebankの言語モデルからwmt 2014のengligh- french translationまで、さまざまなタスクやデータセットに転送される。
  論文  参考訳（メタデータ） (2021-01-05T19:54:22Z)
• Shape-Texture Debiased Neural Network Training [50.6178024087048]
  畳み込みニューラルネットワークは、トレーニングデータセットによって、テクスチャまたは形状にバイアスされることが多い。 形状・テクスチャ・デバイアスド学習のためのアルゴリズムを開発した。 実験により,本手法は複数の画像認識ベンチマークにおけるモデル性能の向上に成功していることが示された。
  論文  参考訳（メタデータ） (2020-10-12T19:16:12Z)
• Adaptive Label Smoothing [1.3198689566654107]
  本稿では,学習中の目的意識とラベルの平滑化を併用した新しい分類手法を提案する。 適応ラベルスムーシングを用いて訓練されたCNNが、予測に過信される可能性がはるかに低いことを示すために、ImageNetを用いた広範な結果を示す。
  論文  参考訳（メタデータ） (2020-09-14T13:37:30Z)
• Learning CNN filters from user-drawn image markers for coconut-tree image classification [78.42152902652215]
  本稿では,CNNの特徴抽出器を訓練するために,最小限のユーザ選択画像を必要とする手法を提案する。 本手法は,クラスを識別する画像領域のユーザ描画マーカーから,各畳み込み層のフィルタを学習する。 バックプロパゲーションに基づく最適化には依存せず、ココナッツツリー空中画像のバイナリ分類にその利点を実証する。
  論文  参考訳（メタデータ） (2020-08-08T15:50:23Z)
• Learning to Learn Parameterized Classification Networks for Scalable Input Images [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。 我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。 さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
  論文  参考訳（メタデータ） (2020-07-13T04:27:25Z)
• Retrain or not retrain? -- efficient pruning methods of deep CNN networks [0.30458514384586394]
  畳み込みニューラルネットワーク(CNN)は、画像分類、オブジェクト検出、セマンティックセグメンテーションといった画像処理タスクにおいて重要な役割を果たしている。 CNNネットワークは数百から数百の積み重ねレイヤーと数メガバイトの重みを持つことが多い。 複雑性とメモリフットプリントを削減する方法の1つは、プルーニングである。
  論文  参考訳（メタデータ） (2020-02-12T23:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。