論文の概要: GradAug: A New Regularization Method for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2006.07989v2
• Date: Mon, 12 Oct 2020 18:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 13:12:21.621297
• Title: GradAug: A New Regularization Method for Deep Neural Networks
• Title（参考訳）: gradaug:深層ニューラルネットワークのための新しい正規化法
• Authors: Taojiannan Yang, Sijie Zhu, Chen Chen
• Abstract要約: 本稿では,ディープニューラルネットワークにおける過剰適合を緩和する新たな正規化手法を提案する。 提案手法は,ネットワークの生勾配に自己誘導障害を導入する。 GradAugは、ネットワークがより一般化され、より多様な表現を学習するのに役立つことを実証する。
• 参考スコア（独自算出の注目度）: 19.239311087570318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new regularization method to alleviate over-fitting in deep neural networks. The key idea is utilizing randomly transformed training samples to regularize a set of sub-networks, which are originated by sampling the width of the original network, in the training process. As such, the proposed method introduces self-guided disturbances to the raw gradients of the network and therefore is termed as Gradient Augmentation (GradAug). We demonstrate that GradAug can help the network learn well-generalized and more diverse representations. Moreover, it is easy to implement and can be applied to various structures and applications. GradAug improves ResNet-50 to 78.79% on ImageNet classification, which is a new state-of-the-art accuracy. By combining with CutMix, it further boosts the performance to 79.67%, which outperforms an ensemble of advanced training tricks. The generalization ability is evaluated on COCO object detection and instance segmentation where GradAug significantly surpasses other state-of-the-art methods. GradAug is also robust to image distortions and FGSM adversarial attacks and is highly effective in low data regimes. Code is available at https://github.com/taoyang1122/GradAug
• Abstract（参考訳）: 本稿では,ディープニューラルネットワークにおけるオーバーフィッティングを緩和する新しい正規化手法を提案する。 鍵となるアイデアは、トレーニングプロセスにおいて、ランダムに変換されたトレーニングサンプルを利用して、元のネットワーク幅をサンプリングした一連のサブネットワークを正則化することである。 そこで,提案手法では,ネットワークの生勾配に自己誘導外乱を導入することにより,勾配増強 (gradaug) と呼ばれる。 GradAugはネットワークがより汎用的で多様な表現を学習するのに役立つことを実証する。 さらに、実装が容易で、様々な構造やアプリケーションに適用することができる。 GradAugはImageNet分類のResNet-50を78.79%改善した。 CutMixと組み合わせることで、パフォーマンスをさらに79.67%向上させ、高度なトレーニングトリックのアンサンブルを上回っている。 一般化能力は、GradAugが他の最先端メソッドを大幅に上回るCOCOオブジェクト検出とインスタンスセグメンテーションに基づいて評価される。 GradAugは画像歪みやFGSM攻撃にも耐性があり、低データレシエーションに非常に有効である。 コードはhttps://github.com/taoyang1122/GradAugで入手できる。

関連論文リスト

• Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
  高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。 本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。 我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
  論文  参考訳（メタデータ） (2022-06-26T00:37:33Z)
• Visual Explanations from Deep Networks via Riemann-Stieltjes Integrated Gradient-based Localization [0.24596929878045565]
  我々は,CNNの予測のための視覚的説明を生成する新しい手法を提案する。 本手法はネットワークの任意の層に適用可能であり, 積分勾配と同様, 勾配の消失問題の影響を受けない。 Grad-CAMと比較して、我々のアルゴリズムが生成したヒートマップは興味のある領域に集中しており、数値計算はより安定である。
  論文  参考訳（メタデータ） (2022-05-22T18:30:38Z)
• DAFormer: Improving Network Architectures and Training Strategies for Domain-Adaptive Semantic Segmentation [99.88539409432916]
  教師なしドメイン適応(UDA)プロセスについて検討する。 ベンチマーク結果に基づいて,新しい UDA 手法である DAFormer を提案する。 DAFormerは,GTA->Cityscapesの10.8 mIoU,Synthia->Cityscapesの5.4 mIoUにより,最先端の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-29T19:00:46Z)
• Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
  本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。 提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。 標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-16T11:57:38Z)
• TSG: Target-Selective Gradient Backprop for Probing CNN Visual Saliency [72.9106103283475]
  我々は、畳み込みニューラルネットワークを解釈するために視覚的サリエンシ、すなわち視覚的説明について研究する。 これらの観測に触発されて、我々はTSG(Target-Selective Gradient)バックプロップと呼ばれる新しいビジュアル・サリエンシ・フレームワークを提案する。 提案したTSGはTSG-ConvとTSG-FCの2つのコンポーネントから構成され、それぞれ畳み込み層と完全連結層の勾配を補正する。
  論文  参考訳（メタデータ） (2021-10-11T12:00:20Z)
• Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
  本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。 我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-04T19:21:48Z)
• LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised Classification [0.0]
  深層半教師付き分類の最近の進歩は、前例のない性能に達している。 モデル複雑性を大幅に低減した深層半教師付き分類のための新しいフレームワークであるLaplaceNetを提案する。 本モデルは,複数のベンチマークデータセットを用いて,半教師付き深層分類のための最先端手法より優れる。
  論文  参考訳（メタデータ） (2021-06-08T17:09:28Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Active Deep Densely Connected Convolutional Network for Hyperspectral Image Classification [6.850575514129793]
  ラベル付きサンプルを数個だけ使って、ディープラーニングモデルを訓練して高い分類精度に達することは、依然として非常に難しい。 そこで本稿では,高スペクトル画像の分類コストを最小限に抑えるために,エンドツーエンドで訓練された能動的ディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-01T09:53:38Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。