Fugu-MT 論文翻訳(概要): Revisiting Structured Dropout

論文の概要: Revisiting Structured Dropout

arxiv url: http://arxiv.org/abs/2210.02570v1
Date: Wed, 5 Oct 2022 21:26:57 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 15:08:17.986023
Title: Revisiting Structured Dropout
Title（参考訳）: 構造化ドロップアウトの再検討
Authors: Yiren Zhao, Oluwatomisin Dada, Xitong Gao, Robert D Mullins
Abstract要約: textbfemphProbDropBlockは、正規化されたフィーチャーサリエンス値によって与えられる確率で、特徴マップから連続したブロックをドロップする。単純なスケジューリング戦略では,ベースラインよりもモデル性能が一貫して向上していることが判明した。
参考スコア（独自算出の注目度）: 11.011268090482577
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large neural networks are often overparameterised and prone to overfitting, Dropout is a widely used regularization technique to combat overfitting and improve model generalization. However, unstructured Dropout is not always effective for specific network architectures and this has led to the formation of multiple structured Dropout approaches to improve model performance and, sometimes, reduce the computational resources required for inference. In this work, we revisit structured Dropout comparing different Dropout approaches to natural language processing and computer vision tasks for multiple state-of-the-art networks. Additionally, we devise an approach to structured Dropout we call \textbf{\emph{ProbDropBlock}} which drops contiguous blocks from feature maps with a probability given by the normalized feature salience values. We find that with a simple scheduling strategy the proposed approach to structured Dropout consistently improved model performance compared to baselines and other Dropout approaches on a diverse range of tasks and models. In particular, we show \textbf{\emph{ProbDropBlock}} improves RoBERTa finetuning on MNLI by $0.22\%$, and training of ResNet50 on ImageNet by $0.28\%$.
Abstract（参考訳）: 大規模ニューラルネットワークはしばしば過パラメータ化され、オーバーフィッティングになりがちであり、ドロップアウトはオーバーフィッティングとモデル一般化と戦うために広く使われる正規化技法である。しかし、非構造化Dropoutは特定のネットワークアーキテクチャに必ずしも有効ではなく、モデル性能を改善するために複数の構造化Dropoutアプローチを形成し、時には推論に必要な計算資源を削減している。本研究では,複数の最先端ネットワークを対象とした自然言語処理とコンピュータビジョンタスクに対する異なるDropoutアプローチの比較を行った。さらに、我々は、機能マップから連続したブロックを正規化された特徴サルペンス値によって与えられる確率で削除する、 \textbf{\emph{probdropblock}} と呼ばれる構造化ドロップアウトへのアプローチを考案する。単純なスケジューリング戦略では、ベースラインや様々なタスクやモデルに対するDropoutアプローチと比較して、構造化されたDropoutアプローチはモデル性能を一貫して改善している。特に、textbf{\emph{ProbDropBlock}}は、MNLI上のRoBERTa微調整を0.22\%$で改善し、ImageNet上でResNet50を0.28\%$でトレーニングする。

関連論文リスト

Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
論文参考訳（メタデータ） (2023-11-08T12:56:59Z)
R-Block: Regularized Block of Dropout for convolutional networks [0.0]
正規化手法としてのドロップアウトは、完全に接続された層で広く使われているが、畳み込み層では効果が低い。本稿では,畳み込み層正規化のための相互学習学習戦略,すなわちR-Blockを適用した。 R-Blockは他の構造化されたドロップアウトモデルよりも優れた性能を示す。
論文参考訳（メタデータ） (2023-07-27T18:53:14Z)
R-Drop: Regularized Dropout for Neural Networks [99.42791938544012]
ドロップアウト(Dropout)は、ディープニューラルネットワークのトレーニングを規則化する、強力で広く使用されているテクニックである。モデルトレーニングにおけるドロップアウト時の単純な正規化戦略、すなわちR-Dropを導入し、異なるサブモデルの出力分布を互いに整合させる。
論文参考訳（メタデータ） (2021-06-28T08:01:26Z)
UniDrop: A Simple yet Effective Technique to Improve Transformer without Extra Cost [110.67392881417777]
トランスフォーマーアーキテクチャは、豊富な自然言語処理タスクで大きな成功を収めます。ドロップアウトなどのシンプルな手法で、慎重な設計でモデル性能を大幅に向上させることができます。具体的には,3種類のドロップアウト手法を統一するUniDropという手法を提案する。
論文参考訳（メタデータ） (2021-04-11T07:43:19Z)
Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文参考訳（メタデータ） (2021-03-06T19:30:32Z)
AutoDropout: Learning Dropout Patterns to Regularize Deep Networks [82.28118615561912]
ドロップアウトまたは重量減衰方法は、ネットワークの入力と隠された状態の構造を利用しません。本手法は,CIFAR-10 と ImageNet 上の画像認識と Penn Treebank および WikiText-2 上の言語モデリングに有効であることを示す。学習したドロップアウトパターンは、penn treebankの言語モデルからwmt 2014のengligh- french translationまで、さまざまなタスクやデータセットに転送される。
論文参考訳（メタデータ） (2021-01-05T19:54:22Z)
Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
論文参考訳（メタデータ） (2020-10-11T13:19:58Z)
DropCluster: A structured dropout for convolutional networks [0.7489179288638513]
ディープニューラルネットワークにおける正規化器としてのドロップアウトは、完全に接続された層よりも畳み込み層において効果が低い。我々は、DropClusterと呼ばれる畳み込み層に対して、新しい構造化された正規化を導入する。我々のアプローチは、DropBlockや他の既存の構造化されたドロップアウトモデルよりも優れたパフォーマンスを実現する。
論文参考訳（メタデータ） (2020-02-07T20:02:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。