Fugu-MT 論文翻訳(概要): PatchUp: A Regularization Technique for Convolutional Neural Networks

論文の概要: PatchUp: A Regularization Technique for Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2006.07794v1
Date: Sun, 14 Jun 2020 04:28:11 GMT
ステータス: 処理完了
システム内更新日: 2022-11-21 09:51:22.743851
Title: PatchUp: A Regularization Technique for Convolutional Neural Networks
Title（参考訳）: patchup:畳み込みニューラルネットワークのための正規化手法
Authors: Mojtaba Faramarzi, Mohammad Amini, Akilesh Badrinaaraayanan, Vikas Verma, and Sarath Chandar
Abstract要約: 畳み込みニューラルネットワーク(CNN)のための隠れ状態ブロックレベルの正規化手法であるPatchUpを提案する。提案手法は,MixupやCutMixといった他の最先端混合手法で発生する多様体侵入問題に対するCNNモデルのロバスト性を改善する。また、PatchUpはサンプルのアフィン変換をより一般化し、敵攻撃に対してより堅牢であることを示す。
参考スコア（独自算出の注目度）: 19.59198017238128
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large capacity deep learning models are often prone to a high generalization gap when trained with a limited amount of labeled training data. A recent class of methods to address this problem uses various ways to construct a new training sample by mixing a pair (or more) of training samples. We propose PatchUp, a hidden state block-level regularization technique for Convolutional Neural Networks (CNNs), that is applied on selected contiguous blocks of feature maps from a random pair of samples. Our approach improves the robustness of CNN models against the manifold intrusion problem that may occur in other state-of-the-art mixing approaches like Mixup and CutMix. Moreover, since we are mixing the contiguous block of features in the hidden space, which has more dimensions than the input space, we obtain more diverse samples for training towards different dimensions. Our experiments on CIFAR-10, CIFAR-100, and SVHN datasets with PreactResnet18, PreactResnet34, and WideResnet-28-10 models show that PatchUp improves upon, or equals, the performance of current state-of-the-art regularizers for CNNs. We also show that PatchUp can provide better generalization to affine transformations of samples and is more robust against adversarial attacks.
Abstract（参考訳）: 大容量のディープラーニングモデルは、限られた量のラベル付きトレーニングデータでトレーニングする場合、高い一般化ギャップに陥ることが多い。この問題に対処する最近の方法のクラスでは、トレーニングサンプルのペア(またはそれ以上)を混合することにより、新しいトレーニングサンプルを構築する様々な方法を使用している。ランダムな一対のサンプルから選択した特徴写像の連続ブロックに適用可能な,畳み込みニューラルネットワーク(CNN)の隠れ状態ブロックレベルの正規化手法であるPatchUpを提案する。本手法は,mixup や cutmix のような最先端混合手法で生じる多様体侵入問題に対する cnn モデルのロバスト性を改善する。さらに,入力空間よりも多くの次元を持つ隠れ空間に特徴の連続したブロックを混合するので,異なる次元へのトレーニングのためにより多様なサンプルを得る。 CIFAR-10, CIFAR-100, SVHNデータセットのPreactResnet18, PreactResnet34, WideResnet-28-10モデルによる実験により, PatchUpはCNNの現在最先端の正規化器の性能を向上または同等に向上することが示された。また、PatchUpはサンプルのアフィン変換をより一般化し、敵攻撃に対してより堅牢であることを示す。

関連論文リスト

MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文参考訳（メタデータ） (2024-10-02T16:05:03Z)
Granular-ball Representation Learning for Deep CNN on Learning with Label Noise [14.082510085545582]
本稿では,CNNモデルに組み込むことが可能な一般粒界計算(GBC)モジュールを提案する。本研究では,入力サンプルを機能レベルで$gb$のサンプルとして分割し,各サンプルは異なる数を持つ複数のサンプルに対応して1つのラベルを共有できることを示した。実験により,提案手法は追加データや最適化を伴わずにCNNモデルのロバスト性を向上させることができることが示された。
論文参考訳（メタデータ） (2024-09-05T05:18:31Z)
Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
論文参考訳（メタデータ） (2023-04-14T17:15:54Z)
Decoupled Mixup for Generalized Visual Recognition [71.13734761715472]
視覚認識のためのCNNモデルを学習するための新しい「デカップリング・ミクスアップ」手法を提案する。本手法は,各画像を識別領域と雑音発生領域に分離し,これらの領域を均一に組み合わせてCNNモデルを訓練する。実験結果から,未知のコンテキストからなるデータに対する本手法の高一般化性能を示す。
論文参考訳（メタデータ） (2022-10-26T15:21:39Z)
Learning Robust Kernel Ensembles with Kernel Average Pooling [3.6540368812166872]
本稿では,階層活性化テンソルのカーネル次元に沿って平均フィルタを適用するニューラルネットワーク構築ブロックであるKernel Average Pooling(KAP)を紹介する。類似機能を持つカーネルのアンサンブルは、KAPを装備した畳み込みニューラルネットワークにおいて自然に出現し、バックプロパゲーションで訓練されることを示す。
論文参考訳（メタデータ） (2022-09-30T19:49:14Z)
Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文参考訳（メタデータ） (2022-08-17T05:42:59Z)
Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
論文参考訳（メタデータ） (2022-06-26T00:37:33Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Bootstrap Your Object Detector via Mixed Training [82.98619147880397]
MixTrainingはオブジェクト検出のための新しいトレーニングパラダイムであり、既存の検出器の性能を無償で向上させることができる。異なる強度の増強を利用し、トレーニングに有害な特定のトレーニングサンプルの強い増強を除き、データ増強を強化する。 MixTrainingはCOCOデータセット上のさまざまな検出器間で一貫した改善をもたらす。
論文参考訳（メタデータ） (2021-11-04T17:58:26Z)
KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
論文参考訳（メタデータ） (2021-10-06T06:17:05Z)
Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。