論文の概要: A General Multiple Data Augmentation Based Framework for Training Deep
Neural Networks
- arxiv url: http://arxiv.org/abs/2205.14606v1
- Date: Sun, 29 May 2022 09:01:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 17:57:21.816719
- Title: A General Multiple Data Augmentation Based Framework for Training Deep
Neural Networks
- Title（参考訳）: 深層ニューラルネットワーク学習のための汎用的多重データ拡張ベースフレームワーク
- Authors: Binyan Hu, Yu Sun and A. K. Qin
- Abstract要約: ディープニューラルネットワーク(DNN)は、多くのアプリケーションではアクセスできない巨大なラベル付きデータをトレーニングに頼っていることが多い。
データ拡張(DA)は、利用可能なデータから新しいラベル付きデータを作成することで、データの不足に対処する。
任意のDA手法を利用できる汎用マルチDAベースのDNNトレーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 5.041762456192655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) often rely on massive labelled data for training,
which is inaccessible in many applications. Data augmentation (DA) tackles data
scarcity by creating new labelled data from available ones. Different DA
methods have different mechanisms and therefore using their generated labelled
data for DNN training may help improving DNN's generalisation to different
degrees. Combining multiple DA methods, namely multi-DA, for DNN training,
provides a way to boost generalisation. Among existing multi-DA based DNN
training methods, those relying on knowledge distillation (KD) have received
great attention. They leverage knowledge transfer to utilise the labelled data
sets created by multiple DA methods instead of directly combining them for
training DNNs. However, existing KD-based methods can only utilise certain
types of DA methods, incapable of utilising the advantages of arbitrary DA
methods. We propose a general multi-DA based DNN training framework capable to
use arbitrary DA methods. To train a DNN, our framework replicates a certain
portion in the latter part of the DNN into multiple copies, leading to multiple
DNNs with shared blocks in their former parts and independent blocks in their
latter parts. Each of these DNNs is associated with a unique DA and a newly
devised loss that allows comprehensively learning from the data generated by
all DA methods and the outputs from all DNNs in an online and adaptive way. The
overall loss, i.e., the sum of each DNN's loss, is used for training the DNN.
Eventually, one of the DNNs with the best validation performance is chosen for
inference. We implement the proposed framework by using three distinct DA
methods and apply it for training representative DNNs. Experiments on the
popular benchmarks of image classification demonstrate the superiority of our
method to several existing single-DA and multi-DA based training methods.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、多くのアプリケーションではアクセスできない巨大なラベル付きデータをトレーニングに頼っていることが多い。
データ拡張(DA)は、利用可能なデータから新しいラベル付きデータを作成することで、データの不足に対処する。
異なるDA法は異なる機構を持つため、DNNトレーニングのために生成されたラベル付きデータを使用することで、DNNの一般化を異なる程度に改善することができる。
複数のDAメソッド、すなわちDNNトレーニングのためのマルチDAを組み合わせることで、一般化を促進することができる。
既存のマルチDAベースのDNNトレーニング手法の中で,知識蒸留(KD)に依存しているものに大きな注目を集めている。
知識伝達を利用して、複数のDAメソッドによって生成されたラベル付きデータセットを利用する。
しかし、既存のKDベースのメソッドは、任意のDAメソッドの利点を利用することができない特定のタイプのDAメソッドしか利用できない。
任意のDA手法を利用できる汎用マルチDAベースのDNNトレーニングフレームワークを提案する。
DNNをトレーニングするために、我々のフレームワークはDNNの後半部分の一部を複数のコピーに複製する。
これらのDNNはそれぞれ、ユニークなDAと、新しく考案された損失に関連付けられており、すべてのDAメソッドによって生成されたデータと、すべてのDNNからオンラインかつ適応的な方法で出力を包括的に学習することができる。
全体的な損失、すなわち各DNNの損失の合計は、DNNの訓練に使用される。
最終的に、最高のバリデーションパフォーマンスを持つDNNの1つが推論のために選択される。
本稿では,3つのDA手法を用いて提案手法を実装し,DNNの訓練に応用する。
画像分類の一般的なベンチマーク実験は、既存の単DAおよび複数DAベースのトレーニング手法よりも、我々の手法が優れていることを示す。
関連論文リスト
- Poster: Link between Bias, Node Sensitivity and Long-Tail Distribution
in trained DNNs [12.404169549562523]
長い尾の分布を持つトレーニングデータセットはディープニューラルネットワーク(DNN)に挑戦する
この研究は、異なる出力クラスに対するノードの感度の変化につながるノードバイアスを特定する。
実世界のデータセットでトレーニングされたネットワークの実証的なケーススタディを用いて、推論を支援する。
論文 参考訳（メタデータ） (2023-03-29T10:49:31Z) - Taming Reachability Analysis of DNN-Controlled Systems via
Abstraction-Based Training [14.787056022080625]
本稿では, 到達可能性解析における過剰近似DNNの欠如を回避するための, 抽象的アプローチを提案する。
我々は、実数をトレーニングの間隔に抽象化する抽象層を挿入することで、従来のDNNを拡張した。
我々は、DNN制御システムに対する最初のブラックボックス到達可能性分析手法を考案し、訓練されたDNNは抽象状態に対するアクションのためのブラックボックスオラクルとしてのみクエリされる。
論文 参考訳（メタデータ） (2022-11-21T00:11:50Z) - Understanding and Improving Early Stopping for Learning with Noisy
Labels [63.0730063791198]
ディープニューラルネットワーク(DNN)の記憶効果は、多くの最先端のラベルノイズ学習法において重要な役割を担っている。
現在の手法は一般的にDNN全体を考慮して早期停止点を決定する。
我々は、DNNを異なる部分に分割し、この問題に対処するよう徐々に訓練することを提案する。
論文 参考訳（メタデータ） (2021-06-30T07:18:00Z) - Evaluating Deep Neural Network Ensembles by Majority Voting cum
Meta-Learning scheme [3.351714665243138]
新しいデータインスタンスのために,7つの独立したディープニューラルネットワーク(DNN)のアンサンブルを提案する。
残りのサンプルからブートストラップサンプリングによってデータの7分の1を削除して補充する。
この論文のすべてのアルゴリズムは5つのベンチマークデータセットでテストされている。
論文 参考訳（メタデータ） (2021-05-09T03:10:56Z) - Neuron Coverage-Guided Domain Generalization [37.77033512313927]
本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。
私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
論文 参考訳（メタデータ） (2021-02-27T14:26:53Z) - Deep Serial Number: Computational Watermarking for DNN Intellectual
Property Protection [53.40245698216239]
DSN(Deep Serial Number)はディープニューラルネットワーク(DNN)に特化した透かしアルゴリズムである。
従来のソフトウェアIPの保護においてシリアル番号に着想を得て,DNNに埋め込まれたシリアル番号の最初の実装を提案する。
論文 参考訳（メタデータ） (2020-11-17T21:42:40Z) - Deep Time Delay Neural Network for Speech Enhancement with Full Data
Learning [60.20150317299749]
本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。
トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
論文 参考訳（メタデータ） (2020-11-11T06:32:37Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - One Versus all for deep Neural Network Incertitude (OVNNI)
quantification [12.734278426543332]
本稿では,データの疫学的不確実性を容易に定量化するための新しい手法を提案する。
本手法は,1つのクラス対他のクラス(OVA)を分類するために訓練されたDNNのアンサンブルの予測と,オール対オール(AVA)分類を実行するために訓練された標準DNNの予測とを混合して構成する。
論文 参考訳（メタデータ） (2020-06-01T14:06:12Z) - Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality
Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。
SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文 参考訳（メタデータ） (2020-04-20T02:40:43Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳（メタデータ） (2020-03-30T08:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。