論文の概要: Multi-Label Adaptive Batch Selection by Highlighting Hard and Imbalanced Samples
- arxiv url: http://arxiv.org/abs/2403.18192v1
- Date: Wed, 27 Mar 2024 02:00:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 18:45:45.634982
- Title: Multi-Label Adaptive Batch Selection by Highlighting Hard and Imbalanced Samples
- Title（参考訳）: ハードとアンバランスサンプルのハイライトによるマルチラベル適応バッチ選択
- Authors: Ao Zhou, Bin Liu, Jin Wang, Grigorios Tsoumakas,
- Abstract要約: 本稿では,多ラベル深層学習モデルに適した適応バッチ選択アルゴリズムを提案する。
提案手法は, ランダムなバッチ選択よりも高速に収束し, 性能が向上する。
- 参考スコア（独自算出の注目度）: 9.360376286221943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural network models have demonstrated their effectiveness in classifying multi-label data from various domains. Typically, they employ a training mode that combines mini-batches with optimizers, where each sample is randomly selected with equal probability when constructing mini-batches. However, the intrinsic class imbalance in multi-label data may bias the model towards majority labels, since samples relevant to minority labels may be underrepresented in each mini-batch. Meanwhile, during the training process, we observe that instances associated with minority labels tend to induce greater losses. Existing heuristic batch selection methods, such as priority selection of samples with high contribution to the objective function, i.e., samples with high loss, have been proven to accelerate convergence while reducing the loss and test error in single-label data. However, batch selection methods have not yet been applied and validated in multi-label data. In this study, we introduce a simple yet effective adaptive batch selection algorithm tailored to multi-label deep learning models. It adaptively selects each batch by prioritizing hard samples related to minority labels. A variant of our method also takes informative label correlations into consideration. Comprehensive experiments combining five multi-label deep learning models on thirteen benchmark datasets show that our method converges faster and performs better than random batch selection.
- Abstract（参考訳）: ディープニューラルネットワークモデルは、さまざまなドメインからマルチラベルデータを分類する効果を実証している。
通常、ミニバッチとオプティマイザを組み合わせたトレーニングモードを使用し、各サンプルは、ミニバッチを構築する際に、ランダムに同じ確率で選択される。
しかしながら、マルチラベルデータにおける本質的なクラス不均衡は、マイノリティラベルに関連するサンプルが各ミニバッチで不足しているため、このモデルを多数ラベルに偏る可能性がある。
一方、トレーニングの過程では、マイノリティラベルに関連する事例はより大きな損失をもたらす傾向にある。
既存のヒューリスティックなバッチ選択手法、例えば、目的関数に高い寄与率を持つサンプルの優先度選択、すなわち、高い損失率を持つサンプルは、単一ラベルデータにおける損失とテスト誤差を低減しつつ収束を加速することが証明されている。
しかし、バッチ選択法はまだ適用されておらず、マルチラベルデータで検証されている。
本研究では,多ラベル深層学習モデルに適した適応型バッチ選択アルゴリズムを提案する。
マイノリティラベルに関連するハードサンプルを優先順位付けすることで、各バッチを適応的に選択する。
また,本手法の変種は,情報的ラベル相関も考慮に入れている。
13個のベンチマークデータセットに5つの多ラベル深層学習モデルを組み合わせた総合実験により,本手法はより高速に収束し,ランダムなバッチ選択よりも優れた性能を示すことが示された。
関連論文リスト
- Extracting Clean and Balanced Subset for Noisy Long-tailed Classification [66.47809135771698]
そこで我々は,分布マッチングの観点から,クラスプロトタイプを用いた新しい擬似ラベリング手法を開発した。
手動で特定の確率尺度を設定することで、ノイズと長い尾を持つデータの副作用を同時に減らすことができる。
本手法は, クリーンなラベル付きクラスバランスサブセットを抽出し, ラベルノイズ付きロングテール分類において, 効果的な性能向上を実現する。
論文 参考訳（メタデータ） (2024-04-10T07:34:37Z) - Debiased Sample Selection for Combating Noisy Labels [24.296451733127956]
サンプル選択におけるバイアス学習のためのnoIse-Tolerant Expert Model (ITEM)を提案する。
具体的には、トレーニングバイアスを軽減するために、複数の専門家と統合した堅牢なネットワークアーキテクチャを設計します。
2つのクラス識別型ミニバッチの混合によるトレーニングにより、モデルが不均衡なトレーニングセットの効果を緩和する。
論文 参考訳（メタデータ） (2024-01-24T10:37:28Z) - Combining Self-labeling with Selective Sampling [2.0305676256390934]
この研究は、選択的サンプリングシナリオにおける自己ラベル技術とアクティブラーニングを組み合わせたものである。
選択したクラスに対してバイアスを課すことにより,自己ラベルの適用がパフォーマンスに悪影響を及ぼすことを示す。
提案手法は,現在の選択的サンプリング手法と一致し,より良い結果が得られる。
論文 参考訳（メタデータ） (2023-01-11T11:58:45Z) - UNICON: Combating Label Noise Through Uniform Selection and Contrastive
Learning [89.56465237941013]
UNICONは,高ラベル雑音に対して頑健な,シンプルで効果的なサンプル選択法である。
90%のノイズレートでCIFAR100データセットの最先端データよりも11.4%改善した。
論文 参考訳（メタデータ） (2022-03-28T07:36:36Z) - An analysis of over-sampling labeled data in semi-supervised learning
with FixMatch [66.34968300128631]
ほとんどの半教師付き学習手法は、ミニバッチを訓練する際にラベルをオーバーサンプルする。
本稿では,この実践が学習と方法を改善するかどうかを考察する。
ラベル付けの有無に関わらず、トレーニングデータから各ミニバッチを均一にサンプリングする別の設定と比較する。
論文 参考訳（メタデータ） (2022-01-03T12:22:26Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。
本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。
本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文 参考訳（メタデータ） (2021-05-22T18:07:56Z) - Minimax Active Learning [61.729667575374606]
アクティブラーニングは、人間のアノテーションによってラベル付けされる最も代表的なサンプルをクエリすることによって、ラベル効率の高いアルゴリズムを開発することを目指している。
現在のアクティブラーニング技術は、最も不確実なサンプルを選択するためにモデルの不確実性に頼るか、クラスタリングを使うか、最も多様なラベルのないサンプルを選択するために再構築する。
我々は,不確実性と多様性を両立させる半教師付きミニマックスエントロピーに基づく能動学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-12-18T19:03:40Z) - PAL : Pretext-based Active Learning [2.869739951301252]
提案手法は,従来の提案手法よりも,誤ラベルに頑健な深層ニューラルネットワークの能動的学習手法を提案する。
ラベルのないサンプルを選別するために、別ネットワークを使用します。
その結果,ラベルノイズの欠如による競合精度も向上した。
論文 参考訳（メタデータ） (2020-10-29T21:16:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。