Fugu-MT 論文翻訳(概要): Efficient Augmentation for Imbalanced Deep Learning

論文の概要: Efficient Augmentation for Imbalanced Deep Learning

arxiv url: http://arxiv.org/abs/2207.06080v1
Date: Wed, 13 Jul 2022 09:43:17 GMT
ステータス: 処理完了
システム内更新日: 2022-07-14 23:31:33.148538
Title: Efficient Augmentation for Imbalanced Deep Learning
Title（参考訳）: 不均衡深層学習のための効率的な強化
Authors: Damien Dablain, Colin Bellinger, Bartosz Krawczyk, Nitesh Chawla
Abstract要約: 本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
参考スコア（独自算出の注目度）: 8.38844520504124
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning models memorize training data, which hurts their ability to generalize to under-represented classes. We empirically study a convolutional neural network's internal representation of imbalanced image data and measure the generalization gap between a model's feature embeddings in the training and test sets, showing that the gap is wider for minority classes. This insight enables us to design an efficient three-phase CNN training framework for imbalanced data. The framework involves training the network end-to-end on imbalanced data to learn accurate feature embeddings, performing data augmentation in the learned embedded space to balance the train distribution, and fine-tuning the classifier head on the embedded balanced training data. We propose Expansive Over-Sampling (EOS) as a data augmentation technique to utilize in the training framework. EOS forms synthetic training instances as convex combinations between the minority class samples and their nearest enemies in the embedded space to reduce the generalization gap. The proposed framework improves the accuracy over leading cost-sensitive and resampling methods commonly used in imbalanced learning. Moreover, it is more computationally efficient than standard data pre-processing methods, such as SMOTE and GAN-based oversampling, as it requires fewer parameters and less training time.
Abstract（参考訳）: ディープラーニングモデルはトレーニングデータを記憶し、表現不足のクラスに一般化する能力を損なう。本研究では,不均衡画像データの畳み込みニューラルネットワークの内部表現を実証的に検討し,モデルの特徴埋め込みとテストセットとの一般化ギャップを測定し,マイノリティクラスではギャップが広いことを示す。この洞察により、不均衡データのための効率的な3相cnnトレーニングフレームワークを設計できる。このフレームワークは、不均衡なデータに基づいてネットワークのエンドツーエンドをトレーニングし、正確な特徴埋め込みを学習し、学習された組込み空間でデータ拡張を行い、列車分布のバランスをとる。本稿では,トレーニングフレームワークで活用するデータ拡張手法として,拡張型オーバーサンプリング(eos)を提案する。 EOSは、一般化ギャップを減らすために、マイノリティクラスサンプルと組込み空間の最も近い敵との間の凸結合として合成トレーニングインスタンスを形成する。提案手法は,不均衡学習によく用いられるコスト感受性・再サンプリング手法よりも精度を向上する。さらに、SMOTEやGANベースのオーバーサンプリングのような標準的なデータ前処理手法よりも計算効率が良い。

関連論文リスト

Training Better Deep Learning Models Using Human Saliency [11.295653130022156]
本研究では、画像の正常領域に関する人間の判断が、ディープ畳み込みニューラルネットワーク(DCNN)トレーニングにどのように導入できるかを考察する。本稿では,ConveYs Brain Oversight to raise Generalization (CYBORG) における損失関数の新たな構成要素を提案する。
論文参考訳（メタデータ） (2024-10-21T16:52:44Z)
Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
論文参考訳（メタデータ） (2023-12-05T05:52:44Z)
Addressing Class Variable Imbalance in Federated Semi-supervised Learning [10.542178602467885]
我々は,クラス変数の不均衡を解決するために,FCVI(Federated Semi-supervised Learning for Class Variable Im Balance)を提案する。 FCVIは、クラス数の変化によるデータの不均衡を軽減するために使用される。クライアントのプライバシを維持しながら,ベースライン方式よりもはるかに優れた手法であることが実証された。
論文参考訳（メタデータ） (2023-03-21T12:50:17Z)
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文参考訳（メタデータ） (2023-01-25T03:18:10Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Guided Interpolation for Adversarial Training [73.91493448651306]
トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
論文参考訳（メタデータ） (2021-02-15T03:55:08Z)
Data optimization for large batch distributed training of deep neural networks [0.19336815376402716]
ディープニューラルネットワークの分散トレーニングの現在のプラクティスは、大規模運用における通信ボトルネックの課題に直面している。本研究では,局所的ミニマの少ない損失環境を暗黙的に平滑化するために,機械学習を用いたデータ最適化手法を提案する。当社のアプローチでは,機能学習において重要でないデータポイントをフィルタリングすることで,より大きなバッチサイズでのモデルのトレーニングを高速化し,精度の向上を実現しています。
論文参考訳（メタデータ） (2020-12-16T21:22:02Z)
MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
論文参考訳（メタデータ） (2020-11-30T23:01:04Z)
Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
論文参考訳（メタデータ） (2020-04-05T12:36:06Z)
Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。