論文の概要: Class-Wise Difficulty-Balanced Loss for Solving Class-Imbalance
- arxiv url: http://arxiv.org/abs/2010.01824v1
- Date: Mon, 5 Oct 2020 07:19:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 20:19:51.046386
- Title: Class-Wise Difficulty-Balanced Loss for Solving Class-Imbalance
- Title（参考訳）: クラス不均衡解消のためのクラスワイズ難易度損失
- Authors: Saptarshi Sinha, Hiroki Ohashi and Katsuyuki Nakamura
- Abstract要約: そこで本研究では,クラスワイド・バランサード・ロスと呼ばれる新しい損失関数を提案する。
サンプルが属するクラスの難易度に応じて、各サンプルに動的に重みを分配する。
その結果、CDB損失はクラス不均衡データセットにおける最近提案された損失関数よりも一貫して優れていた。
- 参考スコア（独自算出の注目度）: 6.875312133832079
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Class-imbalance is one of the major challenges in real world datasets, where
a few classes (called majority classes) constitute much more data samples than
the rest (called minority classes). Learning deep neural networks using such
datasets leads to performances that are typically biased towards the majority
classes. Most of the prior works try to solve class-imbalance by assigning more
weights to the minority classes in various manners (e.g., data re-sampling,
cost-sensitive learning). However, we argue that the number of available
training data may not be always a good clue to determine the weighting strategy
because some of the minority classes might be sufficiently represented even by
a small number of training data. Overweighting samples of such classes can lead
to drop in the model's overall performance. We claim that the 'difficulty' of a
class as perceived by the model is more important to determine the weighting.
In this light, we propose a novel loss function named Class-wise
Difficulty-Balanced loss, or CDB loss, which dynamically distributes weights to
each sample according to the difficulty of the class that the sample belongs
to. Note that the assigned weights dynamically change as the 'difficulty' for
the model may change with the learning progress. Extensive experiments are
conducted on both image (artificially induced class-imbalanced MNIST,
long-tailed CIFAR and ImageNet-LT) and video (EGTEA) datasets. The results show
that CDB loss consistently outperforms the recently proposed loss functions on
class-imbalanced datasets irrespective of the data type (i.e., video or image).
- Abstract（参考訳）: クラス不均衡は、少数のクラス(多数派クラスと呼ばれる)が他のクラス(少数派クラスと呼ばれる)よりもはるかに多くのデータサンプルを構成する、現実世界のデータセットにおける大きな課題の1つである。
このようなデータセットを用いたディープニューラルネットワークの学習は、一般的に多数派クラスに偏ったパフォーマンスにつながる。
以前の研究の多くは、様々な方法でマイノリティクラス(例えば、データ再サンプリング、コスト感受性学習)に重みを割り当てることで、クラス不均衡を解決しようとする。
しかし,一部のマイノリティクラスは少数のトレーニングデータでも十分に表現されている可能性があるため,トレーニングデータの入手は必ずしも重み付け戦略を決定するための良い手がかりではない,と我々は論じている。
このようなクラスの過剰なサンプルは、モデル全体のパフォーマンスを低下させる可能性がある。
モデルによって知覚されるクラスの「難易度」は重み付けを決定する上でより重要であると主張する。
そこで本研究では,各試料に対して,試料が属するクラスの難易度に応じて動的に重みを分配する,クラス毎難易度バランス損失(cdb損失)と呼ばれる新しい損失関数を提案する。
モデルの 'difficulty' が学習の進行とともに変化するため、割り当てられた重みは動的に変化する。
画像(人工的に誘導されるクラス不均衡なMNIST、長い尾のCIFARとImageNet-LT)とビデオ(EGTEA)データセットの両方で大規模な実験を行う。
その結果、CDBの損失は、データタイプ(ビデオや画像など)に関係なく、最近提案されたクラス不均衡データセットの損失関数よりも一貫して優れていた。
関連論文リスト
- A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳（メタデータ） (2022-08-05T01:23:54Z) - Class-Difficulty Based Methods for Long-Tailed Visual Recognition [6.875312133832079]
ロングテールデータセットは、クラスやカテゴリが他のクラスよりも多くのデータサンプルを持つ実際のユースケースで頻繁に発生する。
そこで本研究では,モデルの学習段階における各クラスの瞬時難易度を動的に測定する手法を提案する。
また,各学級の難易度尺度を用いて,学級難易度ベース重み付けと呼ばれる新しい学級難易度ベース重み付け手法と,学級難易度ベースサンプリングと呼ばれる新学級データサンプリング手法を設計する。
論文 参考訳（メタデータ） (2022-07-29T06:33:22Z) - Throwing Away Data Improves Worst-Class Error in Imbalanced
Classification [36.91428748713018]
クラス不均衡は分類問題に悪影響を及ぼすが、その治療は理論と実践において異なる。
本稿では,線形分離可能なデータに対する分類器の誤りを記述できる学習理論の開発に挑戦する。
論文 参考訳（メタデータ） (2022-05-23T23:43:18Z) - Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for
Imbalanced Learning [97.81549071978789]
勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。
大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-04-19T08:23:23Z) - Imbalanced Classification via Explicit Gradient Learning From Augmented
Data [0.0]
本稿では、与えられた不均衡なデータセットを新しいマイノリティインスタンスに拡張する、新しい深層メタラーニング手法を提案する。
提案手法の利点は, 種々の不均衡比を持つ合成および実世界のデータセット上で実証される。
論文 参考訳（メタデータ） (2022-02-21T22:16:50Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Distributional Robustness Loss for Long-tail Learning [20.800627115140465]
現実世界のデータはしばしばアンバランスで長尾ですが、深いモデルは頻繁なクラスの存在下でまれなクラスを認識するのに苦労します。
ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。
モデルが頭と尾の両方のクラスで高品質の表現を学ぶことを奨励するロバストネス理論に基づく新しい損失を提案します。
論文 参考訳（メタデータ） (2021-04-07T11:34:04Z) - M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。
本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。
提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
論文 参考訳（メタデータ） (2020-04-01T13:21:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。