論文の概要: Dataset balancing can hurt model performance

• arxiv url: http://arxiv.org/abs/2307.00079v1
• Date: Fri, 30 Jun 2023 18:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 18:12:09.862098
• Title: Dataset balancing can hurt model performance
• Title（参考訳）: データセットのバランスがモデルのパフォーマンスを損なう
• Authors: R. Channing Moore, Daniel P. W. Ellis, Eduardo Fonseca, Shawn Hershey, Aren Jansen, Manoj Plakal
• Abstract要約: クラス毎のサンプルのスキュー分布によるトレーニングデータからの機械学習は、希少なクラスのパフォーマンスを犠牲にして、一般的なクラスのパフォーマンスを優先するモデルにつながる可能性がある。 その結果、バランスは公開AudioSet評価データの性能を改善する一方で、未発表の評価セットの性能を同時に損なうことがわかった。 したがって、我々はバランスの盲目な適用や、公的評価セットの小さな改善にあまり注意を払わないことに注意する。
• 参考スコア（独自算出の注目度）: 18.773090425422588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning from training data with a skewed distribution of examples per class can lead to models that favor performance on common classes at the expense of performance on rare ones. AudioSet has a very wide range of priors over its 527 sound event classes. Classification performance on AudioSet is usually evaluated by a simple average over per-class metrics, meaning that performance on rare classes is equal in importance to the performance on common ones. Several recent papers have used dataset balancing techniques to improve performance on AudioSet. We find, however, that while balancing improves performance on the public AudioSet evaluation data it simultaneously hurts performance on an unpublished evaluation set collected under the same conditions. By varying the degree of balancing, we show that its benefits are fragile and depend on the evaluation set. We also do not find evidence indicating that balancing improves rare class performance relative to common classes. We therefore caution against blind application of balancing, as well as against paying too much attention to small improvements on a public evaluation set.
• Abstract（参考訳）: クラスごとのサンプルの歪んだ分布を持つトレーニングデータからの機械学習は、レアなクラスのパフォーマンスを犠牲にして、共通クラスのパフォーマンスを優先するモデルにつながる可能性がある。 AudioSetは、527のサウンドイベントクラスに対して、非常に幅広い先行性を持っている。 オーディオセットでの分類性能は、通常、クラス毎の単純な平均値によって評価される。 最近の論文では、AudioSetのパフォーマンス向上にデータセットバランシング技術を使用している。 しかし,公開AudioSet評価データの性能はバランスが向上する一方で,同じ条件下で収集した未公開評価セットの性能を損なうことが判明した。 バランスの程度を変えることで,その利点は脆弱であり,評価セットに依存することを示した。 また、バランスが一般的なクラスと比較して希少なクラスパフォーマンスを改善することを示す証拠も見つからない。 したがって、我々はバランスの盲目な適用や、公的評価セットの小さな改善にあまり注意を払わないことに注意する。

関連論文リスト

• Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
  実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。 クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。 バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-05T05:52:44Z)
• Class Uncertainty: A Measure to Mitigate Class Imbalance [0.0]
  授業の基数のみを考慮すると、クラス不均衡の原因となるすべての問題をカバーできるわけではない。 トレーニング事例の予測的不確実性の平均値として「クラス不確実性」を提案する。 また,SVCI-20は,クラスが同じ数のトレーニングサンプルを持つが,それらの硬さの点で異なる,新しいデータセットとしてキュレートする。
  論文  参考訳（メタデータ） (2023-11-23T16:36:03Z)
• Accounting for multiplicity in machine learning benchmark performance [0.0]
  最先端のパフォーマンスをSOTA(State-of-the-art)のパフォーマンスの見積として使うのはバイアスのある推定器であり、過度に楽観的な結果をもたらす。 本稿では、複数の分類器の場合の確率分布について、既知の解析手法を適用できるようにし、より優れたSOTA推定値を提供する。
  論文  参考訳（メタデータ） (2023-03-10T10:32:18Z)
• Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics [88.39382177059747]
  メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。 ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
  論文  参考訳（メタデータ） (2023-02-03T02:40:54Z)
• Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
  NLT(Noisy Long-Tailed Classification)を紹介する。 ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。 我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2022-07-27T09:03:03Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Rethinking Evaluation in ASR: Are Our Models Robust Enough? [30.114009549372923]
  一般に、残響と付加音の増補により、ドメイン間の一般化性能が向上することを示す。 ベンチマークを十分に使うと、平均単語誤り率(WER)のパフォーマンスが実世界のノイズの多いデータのパフォーマンスに良いプロキシを提供することを示した。
  論文  参考訳（メタデータ） (2020-10-22T14:01:32Z)
• A Skew-Sensitive Evaluation Framework for Imbalanced Data Classification [11.125446871030734]
  不均衡なデータセットのクラス分布スキューは、多数派クラスに対する予測バイアスのあるモデルにつながる可能性がある。 本稿では,不均衡なデータ分類のための簡易かつ汎用的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-12T19:47:09Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)
• Audio Impairment Recognition Using a Correlation-Based Feature Representation [85.08880949780894]
  本稿では,特徴対の相関に基づく手作り特徴の新しい表現を提案する。 実験段階において,コンパクトな特徴次元と計算速度の向上の観点から,優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-22T13:34:37Z)
• On Model Evaluation under Non-constant Class Imbalance [0.0]
  多くの実世界の分類問題は、関心の階級の有害さと著しくクラス不均衡である。 通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。 非コンスタントクラス不均衡下での評価に焦点をあてる手法を提案する。
  論文  参考訳（メタデータ） (2020-01-15T21:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。