論文の概要: Passive Batch Injection Training Technique: Boosting Network Performance
by Injecting Mini-Batches from a different Data Distribution
- arxiv url: http://arxiv.org/abs/2006.04406v1
- Date: Mon, 8 Jun 2020 08:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 01:07:05.781678
- Title: Passive Batch Injection Training Technique: Boosting Network Performance
by Injecting Mini-Batches from a different Data Distribution
- Title（参考訳）: 受動バッチ注入訓練手法:異なるデータ分布からミニバッチを注入することでネットワーク性能を高める
- Authors: Pravendra Singh, Pratik Mazumder, Vinay P. Namboodiri
- Abstract要約: この研究は、元の入力データとは異なる分布から追加のデータを利用するディープニューラルネットワークの新しいトレーニング手法を提案する。
私たちの知る限りでは、畳み込みニューラルネットワーク(CNN)のトレーニングを支援するために、異なるデータ分散を利用する最初の研究である。
- 参考スコア（独自算出の注目度）: 39.8046809855363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work presents a novel training technique for deep neural networks that
makes use of additional data from a distribution that is different from that of
the original input data. This technique aims to reduce overfitting and improve
the generalization performance of the network. Our proposed technique, namely
Passive Batch Injection Training Technique (PBITT), even reduces the level of
overfitting in networks that already use the standard techniques for reducing
overfitting such as $L_2$ regularization and batch normalization, resulting in
significant accuracy improvements. Passive Batch Injection Training Technique
(PBITT) introduces a few passive mini-batches into the training process that
contain data from a distribution that is different from the input data
distribution. This technique does not increase the number of parameters in the
final model and also does not increase the inference (test) time but still
improves the performance of deep CNNs. To the best of our knowledge, this is
the first work that makes use of different data distribution to aid the
training of convolutional neural networks (CNNs). We thoroughly evaluate the
proposed approach on standard architectures: VGG, ResNet, and WideResNet, and
on several popular datasets: CIFAR-10, CIFAR-100, SVHN, and ImageNet. We
observe consistent accuracy improvement by using the proposed technique. We
also show experimentally that the model trained by our technique generalizes
well to other tasks such as object detection on the MS-COCO dataset using
Faster R-CNN. We present extensive ablations to validate the proposed approach.
Our approach improves the accuracy of VGG-16 by a significant margin of 2.1%
over the CIFAR-100 dataset.
- Abstract（参考訳）: 本研究は,従来の入力データとは異なる分布からの付加データを利用する深層ニューラルネットワークのための新しい学習手法を提案する。
本手法は,ネットワークのオーバーフィッティングを低減し,一般化性能を向上させることを目的とする。
提案手法であるパッシブバッチインジェクショントレーニング技術(pbitt)は,すでに$l_2$正規化やバッチ正規化などのオーバーフィッティングを削減しているネットワークにおいて,オーバーフィッティングのレベルを低減し,精度を大幅に向上させる。
Passive Batch Injection Training Technique (PBITT)は、入力データ分布とは異なる分布からのデータを含む、いくつかの受動的ミニバッチをトレーニングプロセスに導入する。
この手法は最終モデルのパラメータ数を増加せず、推論(テスト)時間も増加せず、深いCNNの性能を向上させる。
私たちの知る限りでは、畳み込みニューラルネットワーク(cnns)のトレーニングを支援するために、さまざまなデータ分散を利用する最初の作業です。
VGG、ResNet、WideResNetといった標準アーキテクチャと、CIFAR-10、CIFAR-100、SVHN、ImageNetといった一般的なデータセットについて、提案手法を徹底的に評価する。
提案手法を用いて一貫した精度向上を観測する。
また,本手法により訓練されたモデルが,高速なR-CNNを用いたMS-COCOデータセット上でのオブジェクト検出など,他のタスクによく当てはまることを示した。
提案手法を検証するために広範囲なアブレーションを行った。
提案手法は,cifar-100データセットに対して,vgg-16の精度を2.1%向上させる。
関連論文リスト
- KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳（メタデータ） (2023-10-16T06:19:29Z) - On the effectiveness of partial variance reduction in federated learning
with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。
そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。
同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-05T11:56:35Z) - TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent
Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。
我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。
本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文 参考訳（メタデータ） (2022-07-13T16:58:22Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T15:39:43Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Semantic Perturbations with Normalizing Flows for Improved
Generalization [62.998818375912506]
我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。
トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
論文 参考訳（メタデータ） (2021-08-18T03:20:00Z) - Cascade Bagging for Accuracy Prediction with Few Training Samples [8.373420721376739]
少数のトレーニングサンプルの下で精度予測器を訓練するための新しいフレームワークを提案する。
このフレームワークは、データ拡張方法とアンサンブル学習アルゴリズムからなる。
論文 参考訳（メタデータ） (2021-08-12T09:10:52Z) - Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。
具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文 参考訳（メタデータ） (2020-08-21T19:35:54Z) - ScopeFlow: Dynamic Scene Scoping for Optical Flow [94.42139459221784]
我々は,光流の一般的なトレーニングプロトコルを変更することを提案する。
この改善は、挑戦的なデータをサンプリングする際のバイアスを観察することに基づいている。
トレーニングプロトコルでは,正規化と拡張の双方が減少することが判明した。
論文 参考訳（メタデータ） (2020-02-25T09:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。