Fugu-MT 論文翻訳(概要): FocusedDropout for Convolutional Neural Network

論文の概要: FocusedDropout for Convolutional Neural Network

arxiv url: http://arxiv.org/abs/2103.15425v1
Date: Mon, 29 Mar 2021 08:47:55 GMT
ステータス: 処理完了
システム内更新日: 2021-03-30 14:55:24.338994
Title: FocusedDropout for Convolutional Neural Network
Title（参考訳）: 畳み込みニューラルネットワークのためのフォーカスドロップアウト
Authors: Tianshu Xie, Minghui Liu, Jiali Deng, Xuan Cheng, Xiaomin Wang, Ming Liu
Abstract要約: FocusedDropoutは、ネットワークをよりターゲットに集中させる非ランダムなドロップアウト手法である。わずかなコストでも、FocusedDropoutを採用したバッチの10%は、ベースライン上で素晴らしいパフォーマンス向上をもたらすことができます。
参考スコア（独自算出の注目度）: 6.066543113636522
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In convolutional neural network (CNN), dropout cannot work well because dropped information is not entirely obscured in convolutional layers where features are correlated spatially. Except randomly discarding regions or channels, many approaches try to overcome this defect by dropping influential units. In this paper, we propose a non-random dropout method named FocusedDropout, aiming to make the network focus more on the target. In FocusedDropout, we use a simple but effective way to search for the target-related features, retain these features and discard others, which is contrary to the existing methods. We found that this novel method can improve network performance by making the network more target-focused. Besides, increasing the weight decay while using FocusedDropout can avoid the overfitting and increase accuracy. Experimental results show that even a slight cost, 10\% of batches employing FocusedDropout, can produce a nice performance boost over the baselines on multiple datasets of classification, including CIFAR10, CIFAR100, Tiny Imagenet, and has a good versatility for different CNN models.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)では、ドロップアウト情報が空間的相関を持つ畳み込み層に完全に隠蔽されないため、ドロップアウトはうまく機能しない。ランダムに破棄される地域やチャネルを除いて、多くのアプローチは、影響力のあるユニットを落としてこの欠陥を克服しようとする。本稿では,ネットワークをよりターゲットに焦点を合わせることを目的とした,非ランダムなドロップアウト方式であるfocusdropoutを提案する。 focusdropoutでは、ターゲット関連の機能を検索し、これらの機能を保持し、他の機能を破棄するシンプルで効果的な方法を採用しています。提案手法は,ネットワークをよりターゲット重視にすることで,ネットワーク性能を向上させることができることを見出した。さらに、FocusedDropoutを使用して重量減衰を増大させることで、オーバーフィッティングを回避し、精度を高めることができる。実験の結果,cifar10,cifar100,tiny imagenetなど複数の分類データセットのベースラインに対して,わずかなコストでも,フォーカスドロップアウトを使用したバッチの10\%が優れたパフォーマンス向上を実現でき,さまざまなcnnモデルに対して優れた汎用性が得られている。

関連論文リスト

Towards Meta-Pruning via Optimal Transport [64.6060250923073]
本稿では, フラニングパラダイムに挑戦する「イントラフュージョン」という新しいアプローチを提案する。モデル融合と最適輸送の概念を利用して、より効果的なスパースモデル表現に到達する。 CIFAR-10, CIFAR-100, ImageNetなどの一般的なデータセット上で, 各種ネットワークのベンチマークを行った。
論文参考訳（メタデータ） (2024-02-12T17:50:56Z)
Neuron-Specific Dropout: A Deterministic Regularization Technique to Prevent Neural Networks from Overfitting & Reduce Dependence on Large Training Samples [0.0]
NSDropoutは、モデルのレイヤのトレーニングパスとバリデーションパスの両方を調べます。データセット内の各クラスのニューロンが生成する平均値を比較することで、ネットワークはターゲットユニットをドロップすることができる。レイヤは、バリデーションからサンプルを見る際に存在しない、テスト中にモデルが見ている機能やノイズを予測することができる。
論文参考訳（メタデータ） (2022-01-13T13:10:30Z)
BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文参考訳（メタデータ） (2021-03-14T20:43:19Z)
AutoDropout: Learning Dropout Patterns to Regularize Deep Networks [82.28118615561912]
ドロップアウトまたは重量減衰方法は、ネットワークの入力と隠された状態の構造を利用しません。本手法は,CIFAR-10 と ImageNet 上の画像認識と Penn Treebank および WikiText-2 上の言語モデリングに有効であることを示す。学習したドロップアウトパターンは、penn treebankの言語モデルからwmt 2014のengligh- french translationまで、さまざまなタスクやデータセットに転送される。
論文参考訳（メタデータ） (2021-01-05T19:54:22Z)
SelectScale: Mining More Patterns from Images via Selective and Soft Dropout [35.066419181817594]
畳み込みニューラルネットワーク(CNN)は画像認識において顕著な成功を収めている。本稿では、ネットワークの重要な機能を選択し、トレーニング中に調整するSelectScaleを提案する。 SelectScale を用いて,CIFAR および ImageNet 上での CNN の性能を向上する。
論文参考訳（メタデータ） (2020-11-30T12:15:08Z)
TargetDrop: A Targeted Regularization Method for Convolutional Neural Networks [6.014015535168499]
ドロップアウト正規化はディープラーニングで広く使われているが、畳み込みニューラルネットワークでは効果が低い。識別機能ユニットをドロップするアテンション機構を組み込んだターゲット型正規化手法TargetDropを提案する。
論文参考訳（メタデータ） (2020-10-21T02:26:05Z)
Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
論文参考訳（メタデータ） (2020-10-11T13:19:58Z)
Informative Dropout for Robust Representation Learning: A Shape-bias Perspective [84.30946377024297]
Informative Dropout (InfoDrop) と呼ばれる軽量モデル非依存の手法を提案し, 解釈性の向上とテクスチャバイアスの低減を図る。具体的には、画像中の局所的な自己情報に基づいて形状からテクスチャを識別し、Dropoutのようなアルゴリズムを用いて局所的なテクスチャからのモデル出力をデコレーションする。
論文参考訳（メタデータ） (2020-08-10T16:52:24Z)
MaxDropout: Deep Neural Network Regularization Based on Maximum Output Values [0.0]
MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
論文参考訳（メタデータ） (2020-07-27T17:55:54Z)
EDropout: Energy-Based Dropout and Pruning of Deep Neural Networks [45.4796383952516]
分類タスクにおけるニューラルネットワークのプルーニングのためのエネルギーベースフレームワークとしてEDropoutを提案する。バイナリプルーニング状態ベクトルの集合(集団)は、任意の提供された元のニューラルネットワークから対応するサブネットワークの集合を表す。 EDropoutは、ネットワークアーキテクチャを変更することなく、典型的なニューラルネットワークをプルークすることができる。
論文参考訳（メタデータ） (2020-06-07T21:09:44Z)
Cooling-Shrinking Attack: Blinding the Tracker with Imperceptible Noises [87.53808756910452]
The method is proposed to deceive-of-the-the-art SiameseRPN-based tracker。本手法は転送性に優れ,DaSiamRPN,DaSiamRPN-UpdateNet,DiMPなどの他のトップパフォーマンストラッカーを騙すことができる。
論文参考訳（メタデータ） (2020-03-21T07:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。