論文の概要: Stochastic Batch Augmentation with An Effective Distilled Dynamic Soft Label Regularizer

• arxiv url: http://arxiv.org/abs/2006.15284v1
• Date: Sat, 27 Jun 2020 04:46:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 07:23:24.310785
• Title: Stochastic Batch Augmentation with An Effective Distilled Dynamic Soft Label Regularizer
• Title（参考訳）: 有効蒸留ソフトラベル正規化器による確率的バッチ増大
• Authors: Qian Li, Qingyuan Hu, Yong Qi, Saiyu Qi, Jie Ma, and Jian Zhang
• Abstract要約: 本稿では,これらの問題に対処するBatch Augmentation Safety of Generalization(SBA)というフレームワークを提案する。 SBAは、バッチスケジューラによって制御されるイテレーションを拡大するか、動的ソフトレギュレータを導入するかを決定する。 CIFAR-10, CIFAR-100, ImageNetによる実験により, SBAはニューラルネットワークの一般化を改善し, ネットワークトレーニングの収束を高速化できることが示された。
• 参考スコア（独自算出の注目度）: 11.153892464618545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation have been intensively used in training deep neural network to improve the generalization, whether in original space (e.g., image space) or representation space. Although being successful, the connection between the synthesized data and the original data is largely ignored in training, without considering the distribution information that the synthesized samples are surrounding the original sample in training. Hence, the behavior of the network is not optimized for this. However, that behavior is crucially important for generalization, even in the adversarial setting, for the safety of the deep learning system. In this work, we propose a framework called Stochastic Batch Augmentation (SBA) to address these problems. SBA stochastically decides whether to augment at iterations controlled by the batch scheduler and in which a ''distilled'' dynamic soft label regularization is introduced by incorporating the similarity in the vicinity distribution respect to raw samples. The proposed regularization provides direct supervision by the KL-Divergence between the output soft-max distributions of original and virtual data. Our experiments on CIFAR-10, CIFAR-100, and ImageNet show that SBA can improve the generalization of the neural networks and speed up the convergence of network training.
• Abstract（参考訳）: データ拡張は、オリジナルの空間(画像空間など)や表現空間など、一般化を改善するためにディープニューラルネットワークをトレーニングするために集中的に使用されてきた。 得られたデータと原データとの接続は, 得られたサンプルが元のサンプルを取り巻く分布情報を考慮せずに, トレーニングにおいてほとんど無視される。 したがって、ネットワークの動作は最適化されていない。 しかし, その行動は, 敵対的環境においても, 深層学習システムの安全性のために, 一般化に極めて重要である。 本研究では,これらの問題に対処するためのSBA(Stochastic Batch Augmentation)というフレームワークを提案する。 SBAは、バッチスケジューラによって制御されたイテレーションで拡張するか否かを確率的に決定し、原サンプルに関する近傍分布に類似性を組み込んだ「蒸留」動的ソフトラベル正規化を導入する。 提案する正規化は、オリジナルデータと仮想データの出力ソフトマックス分布のkl分割による直接的監督を提供する。 CIFAR-10, CIFAR-100, ImageNetによる実験により, SBAはニューラルネットワークの一般化を改善し, ネットワークトレーニングの収束を高速化できることが示された。

関連論文リスト

• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• PDE+: Enhancing Generalization via PDE with Adaptive Distributional Diffusion [66.95761172711073]
  ニューラルネットワークの一般化は、機械学習における中心的な課題です。 本稿では、入力データを調整することに集中するのではなく、ニューラルネットワークの基盤機能を直接拡張することを提案する。 私たちはこの理論的フレームワークを、$textbfPDE+$$textbfPDE$ with $textbfA$daptive $textbfD$istributional $textbfD$iffusionとして実践しました。
  論文  参考訳（メタデータ） (2023-05-25T08:23:26Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Fine-grained Data Distribution Alignment for Post-Training Quantization [100.82928284439271]
  学習後量子化の性能を高めるために,データ分散アライメント(FDDA)法を提案する。 提案手法は,特に第1層と第2層が低ビットに量子化されている場合,ImageNet上での最先端性能を示す。
  論文  参考訳（メタデータ） (2021-09-09T11:45:52Z)
• Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise [85.59576523297568]
  勾配降下法により学習した任意の幅の1層リークReLUネットワークを考察する。 sgdは,分布上の最良半空間に匹敵する分類精度を持つニューラルネットワークを生成できることを実証する。
  論文  参考訳（メタデータ） (2021-01-04T18:32:49Z)
• Direct Evolutionary Optimization of Variational Autoencoders With Binary Latents [0.0]
  サンプルベース近似や再パラメータ化を使わずに、個別の潜入子で変分オートエンコーダ(VAE)を訓練できることが示される。 大規模な教師付きネットワークとは対照的に、調査対象のVAEは、例えば、よりクリーンなデータや大規模な画像データセットのトレーニングを行うことなく、単一のイメージをノイズ化することができる。
  論文  参考訳（メタデータ） (2020-11-27T12:42:12Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Regularizing Deep Networks with Semantic Data Augmentation [44.53483945155832]
  従来の手法を補完する新しい意味データ拡張アルゴリズムを提案する。 提案手法はディープネットワークが線形化特徴の学習に有効であるという興味深い性質に着想を得たものである。 提案した暗黙的セマンティックデータ拡張(ISDA)アルゴリズムは,新たなロバストCE損失を最小限に抑える。
  論文  参考訳（メタデータ） (2020-07-21T00:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。