論文の概要: Delving into Semantic Scale Imbalance

• arxiv url: http://arxiv.org/abs/2212.14613v8
• Date: Sat, 8 Apr 2023 11:35:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 21:13:36.686918
• Title: Delving into Semantic Scale Imbalance
• Title（参考訳）: セマンティックスケールの不均衡に夢中になる
• Authors: Yanbiao Ma, Licheng Jiao, Fang Liu, Yuxin Li, Shuyuan Yang, Xu Liu
• Abstract要約: クラスの特徴的多様性を測定するために使用されるクラスの意味的スケールを定義し,定量化する。 本稿では、一般的な損失改善スキームと動的再重み付けトレーニングフレームワークを含む意味尺度バランス学習を提案する。 総合的な実験により、動的セマンティック・スケール・バランス・ラーニングにより、大規模で長い尾を持つ非長い尾を持つ自然および医学的なデータセットにおいて、モデルが優れたパフォーマンスを発揮することが示されている。
• 参考スコア（独自算出の注目度）: 45.30062061215943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model bias triggered by long-tailed data has been widely studied. However, measure based on the number of samples cannot explicate three phenomena simultaneously: (1) Given enough data, the classification performance gain is marginal with additional samples. (2) Classification performance decays precipitously as the number of training samples decreases when there is insufficient data. (3) Model trained on sample-balanced datasets still has different biases for different classes. In this work, we define and quantify the semantic scale of classes, which is used to measure the feature diversity of classes. It is exciting to find experimentally that there is a marginal effect of semantic scale, which perfectly describes the first two phenomena. Further, the quantitative measurement of semantic scale imbalance is proposed, which can accurately reflect model bias on multiple datasets, even on sample-balanced data, revealing a novel perspective for the study of class imbalance. Due to the prevalence of semantic scale imbalance, we propose semantic-scale-balanced learning, including a general loss improvement scheme and a dynamic re-weighting training framework that overcomes the challenge of calculating semantic scales in real-time during iterations. Comprehensive experiments show that dynamic semantic-scale-balanced learning consistently enables the model to perform superiorly on large-scale long-tailed and non-long-tailed natural and medical datasets, which is a good starting point for mitigating the prevalent but unnoticed model bias.
• Abstract（参考訳）: ロングテールデータによって引き起こされるモデルバイアスは広く研究されている。 しかし、サンプル数に基づく尺度では、(1)十分なデータが与えられた場合、分類性能の向上は、追加のサンプルで限界となるという3つの現象を同時に説明することはできない。 2)データ不足時にトレーニングサンプル数が減少するにつれて,分類性能は急激に低下する。 (3) サンプルバランスデータセットでトレーニングされたモデルでは,クラスによってバイアスが異なる。 本研究では,クラスの特徴的多様性を測定するために使用されるクラスの意味的スケールを定義し,定量化する。 最初の2つの現象を完全に記述したセマンティックスケールの限界効果があることを実験的に発見するのはエキサイティングである。 さらに, サンプルバランスデータにおいても, 複数のデータセットのモデルバイアスを正確に反映し, クラスバランス研究の新しい視点を明らかにする意味尺度の不均衡の定量的測定を提案する。 意味的スケールの不均衡が普及していることから,一般的な損失改善スキームや,反復中に意味的スケールをリアルタイムで計算することの難しさを克服した動的再重み付けトレーニングフレームワークなど,意味的スケールバランス学習を提案する。 総合的な実験により、動的セマンティック・スケール・バランス・ラーニングにより、モデルは大規模で長い尾と長い尾の無い自然および医学的なデータセットにおいて、常に優れた性能を発揮することが示される。

関連論文リスト

• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Predicting and Enhancing the Fairness of DNNs with the Curvature of Perceptual Manifolds [44.79535333220044]
  近年の研究では、テールクラスは必ずしも学習が困難ではないことが示されており、サンプルバランスのデータセットではモデルバイアスが観察されている。 本研究ではまず,モデルフェアネスを解析するための幾何学的視点を確立し,次いで,一連の幾何学的測度を体系的に提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:49:23Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced Data [11.66734752179563]
  長い尾の分散データの分類は難しい問題である。 トレーニング済みのモデルを下流タスクに転送する場合、特に微調整では、テールクラスでの学習は困難である。 本稿では,2段階のファインチューニングを提案する。まず,事前訓練されたモデルの最終層をクラスバランスの再重み付け損失で微調整し,次に標準のファインチューニングを実行する。
  論文  参考訳（メタデータ） (2022-07-22T03:39:51Z)
• Bias-inducing geometries: an exactly solvable data model with fairness implications [13.690313475721094]
  我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。 この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。 フェアネス評価によく用いられる観測対象の正確な予測値を得る。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• Mitigating Dataset Bias by Using Per-sample Gradient [9.290757451344673]
  PGD(Per-sample Gradient-based Debiasing)は,一様バッチサンプリングによるモデルトレーニング,サンプル勾配の基準に比例して各サンプルの重要性の設定,重要バッチサンプリングを用いたモデルトレーニングの3段階からなる。 種々の合成および実世界のデータセットに対する既存のベースラインと比較して,本手法は分類タスクの最先端の精度を示した。
  論文  参考訳（メタデータ） (2022-05-31T11:41:02Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• An Empirical Study on the Joint Impact of Feature Selection and Data Resampling on Imbalance Classification [4.506770920842088]
  本研究では,不均衡分類のための特徴選択とデータ再サンプリングの相乗性に着目した。 9つの特徴選択手法、クラス不均衡学習のための6つの再サンプリング手法、および3つのよく知られた分類アルゴリズムを用いて、52の公開データセットに対して多数の実験を行った。
  論文  参考訳（メタデータ） (2021-09-01T06:01:51Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。