論文の概要: AutoDropout: Learning Dropout Patterns to Regularize Deep Networks
- arxiv url: http://arxiv.org/abs/2101.01761v1
- Date: Tue, 5 Jan 2021 19:54:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-11 13:21:41.453773
- Title: AutoDropout: Learning Dropout Patterns to Regularize Deep Networks
- Title（参考訳）: AutoDropout: 深いネットワークを規則化するドロップアウトパターンを学ぶ
- Authors: Hieu Pham, Quoc V. Le
- Abstract要約: ドロップアウトまたは重量減衰方法は、ネットワークの入力と隠された状態の構造を利用しません。
本手法は,CIFAR-10 と ImageNet 上の画像認識と Penn Treebank および WikiText-2 上の言語モデリングに有効であることを示す。
学習したドロップアウトパターンは、penn treebankの言語モデルからwmt 2014のengligh- french translationまで、さまざまなタスクやデータセットに転送される。
- 参考スコア（独自算出の注目度）: 82.28118615561912
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks are often over-parameterized and hence benefit from
aggressive regularization. Conventional regularization methods, such as Dropout
or weight decay, do not leverage the structures of the network's inputs and
hidden states. As a result, these conventional methods are less effective than
methods that leverage the structures, such as SpatialDropout and DropBlock,
which randomly drop the values at certain contiguous areas in the hidden states
and setting them to zero. Although the locations of dropout areas random, the
patterns of SpatialDropout and DropBlock are manually designed and fixed. Here
we propose to learn the dropout patterns. In our method, a controller learns to
generate a dropout pattern at every channel and layer of a target network, such
as a ConvNet or a Transformer. The target network is then trained with the
dropout pattern, and its resulting validation performance is used as a signal
for the controller to learn from. We show that this method works well for both
image recognition on CIFAR-10 and ImageNet, as well as language modeling on
Penn Treebank and WikiText-2. The learned dropout patterns also transfers to
different tasks and datasets, such as from language model on Penn Treebank to
Engligh-French translation on WMT 2014. Our code will be available.
- Abstract（参考訳）: ニューラルネットワークはしばしば過度にパラメータ化され、アグレッシブな正規化の恩恵を受ける。
ドロップアウトやウェイト崩壊のような従来の正規化手法では、ネットワークの入力や隠れ状態の構造を利用できない。
結果として、これらの従来の手法は、空間ドロップアウトやドロップブロックのような、隠れた状態の特定の連続した領域の値をランダムにドロップしてゼロに設定する手法よりも効果が低い。
ドロップアウトエリアの位置はランダムだが、SpatialDropoutとDropBlockのパターンは手動で設計、固定されている。
ここでは、ドロップアウトパターンを学ぶことを提案する。
本手法では, ConvNet や Transformer などのターゲットネットワークの各チャネルおよびレイヤにおいて, コントローラがドロップアウトパターンを生成することを学習する。
その後、ターゲットネットワークをドロップアウトパターンでトレーニングし、その結果の検証性能をコントローラが学習するための信号として使用する。
本手法は,CIFAR-10 と ImageNet 上の画像認識と Penn Treebank および WikiText-2 上の言語モデリングに有効であることを示す。
学習したドロップアウトパターンは、penn treebankの言語モデルからwmt 2014のengligh- french translationまで、さまざまなタスクやデータセットに転送される。
私たちのコードは利用可能です。
関連論文リスト
- ChannelDropBack: Forward-Consistent Stochastic Regularization for Deep Networks [5.00301731167245]
既存のテクニックでは、しばしば特別なレイヤを追加することによってネットワークのアーキテクチャを変更する必要がある。
本稿では,逆情報フローにのみランダム性を導入する単純な正規化手法であるChannelDropBackを提案する。
アーキテクチャを変更することなく、任意のモデルやレイヤのトレーニングプロセスにシームレスに統合することができます。
論文 参考訳（メタデータ） (2024-11-16T21:24:44Z) - WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
深部画像登録は異常な精度と高速な推測を示した。
近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。
本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
論文 参考訳（メタデータ） (2024-07-18T11:51:01Z) - Revisiting Structured Dropout [11.011268090482577]
textbfemphProbDropBlockは、正規化されたフィーチャーサリエンス値によって与えられる確率で、特徴マップから連続したブロックをドロップする。
単純なスケジューリング戦略では,ベースラインよりもモデル性能が一貫して向上していることが判明した。
論文 参考訳（メタデータ） (2022-10-05T21:26:57Z) - Unsupervised Industrial Anomaly Detection via Pattern Generative and Contrastive Networks [6.393288885927437]
本稿では,視覚変換器を用いた教師なし異常検出ネットワークを提案する。
階層的なタスク学習と人間の経験を利用して、その解釈可能性を高めます。
従来の最先端手法を超越した99.8%のAUCを実現した。
論文 参考訳（メタデータ） (2022-07-20T10:09:53Z) - R-Drop: Regularized Dropout for Neural Networks [99.42791938544012]
ドロップアウト(Dropout)は、ディープニューラルネットワークのトレーニングを規則化する、強力で広く使用されているテクニックである。
モデルトレーニングにおけるドロップアウト時の単純な正規化戦略、すなわちR-Dropを導入し、異なるサブモデルの出力分布を互いに整合させる。
論文 参考訳（メタデータ） (2021-06-28T08:01:26Z) - FocusedDropout for Convolutional Neural Network [6.066543113636522]
FocusedDropoutは、ネットワークをよりターゲットに集中させる非ランダムなドロップアウト手法である。
わずかなコストでも、FocusedDropoutを採用したバッチの10%は、ベースライン上で素晴らしいパフォーマンス向上をもたらすことができます。
論文 参考訳（メタデータ） (2021-03-29T08:47:55Z) - SelectScale: Mining More Patterns from Images via Selective and Soft
Dropout [35.066419181817594]
畳み込みニューラルネットワーク(CNN)は画像認識において顕著な成功を収めている。
本稿では、ネットワークの重要な機能を選択し、トレーニング中に調整するSelectScaleを提案する。
SelectScale を用いて,CIFAR および ImageNet 上での CNN の性能を向上する。
論文 参考訳（メタデータ） (2020-11-30T12:15:08Z) - Informative Dropout for Robust Representation Learning: A Shape-bias
Perspective [84.30946377024297]
Informative Dropout (InfoDrop) と呼ばれる軽量モデル非依存の手法を提案し, 解釈性の向上とテクスチャバイアスの低減を図る。
具体的には、画像中の局所的な自己情報に基づいて形状からテクスチャを識別し、Dropoutのようなアルゴリズムを用いて局所的なテクスチャからのモデル出力をデコレーションする。
論文 参考訳（メタデータ） (2020-08-10T16:52:24Z) - Cassandra: Detecting Trojaned Networks from Adversarial Perturbations [92.43879594465422]
多くの場合、事前トレーニングされたモデルは、トロイの木馬の振る舞いをモデルに挿入するためにトレーニングパイプラインを中断したかもしれないベンダーから派生している。
本稿では,事前学習したモデルがトロイの木馬か良馬かを検証する手法を提案する。
本手法は,ニューラルネットワークの指紋を,ネットワーク勾配から学習した逆方向の摂動の形でキャプチャする。
論文 参考訳（メタデータ） (2020-07-28T19:00:40Z) - Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。
本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。
実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文 参考訳（メタデータ） (2020-06-10T04:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。