論文の概要: Energy Aligning for Biased Models

• arxiv url: http://arxiv.org/abs/2106.03343v1
• Date: Mon, 7 Jun 2021 05:12:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 17:49:53.020391
• Title: Energy Aligning for Biased Models
• Title（参考訳）: バイアスモデルに対するエネルギー整合
• Authors: Bowen Zhao and Chen Chen and Qi Ju and ShuTao Xia
• Abstract要約: クラス不均衡データのトレーニングは通常、多数クラスのサンプルを予測する傾向にあるバイアスのあるモデルをもたらす。 本稿では, バイアスを除去する簡易かつ効果的なEnergy Aligning法を提案する。 実験結果から,エネルギー整合性はクラス不均衡問題を効果的に軽減し,いくつかのベンチマークで最先端の手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 39.00256193731365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training on class-imbalanced data usually results in biased models that tend to predict samples into the majority classes, which is a common and notorious problem. From the perspective of energy-based model, we demonstrate that the free energies of categories are aligned with the label distribution theoretically, thus the energies of different classes are expected to be close to each other when aiming for ``balanced'' performance. However, we discover a severe energy-bias phenomenon in the models trained on class-imbalanced dataset. To eliminate the bias, we propose a simple and effective method named Energy Aligning by merely adding the calculated shift scalars onto the output logits during inference, which does not require to (i) modify the network architectures, (ii) intervene the standard learning paradigm, (iii) perform two-stage training. The proposed algorithm is evaluated on two class imbalance-related tasks under various settings: class incremental learning and long-tailed recognition. Experimental results show that energy aligning can effectively alleviate class imbalance issue and outperform state-of-the-art methods on several benchmarks.
• Abstract（参考訳）: クラス不均衡データのトレーニングは通常、大多数のクラスにサンプルを予測する傾向にあるバイアスのあるモデルをもたらす。 エネルギーモデルの観点から,「平衡」性能を目指す場合,カテゴリの自由エネルギーはラベル分布と理論的に一致し,異なるクラスのエネルギーは互いに近接することが期待される。 しかし,クラス不均衡データセットで訓練したモデルでは,重度のエネルギーバイアス現象がみられた。 バイアスをなくすために,計算されたシフトスカラーを推論中に出力ロジットに追加するだけで,(i)ネットワークアーキテクチャの変更を必要とせず,(ii)標準学習パラダイムに介入し,(iii)2段階の訓練を行うことで,Energy Aligningという簡便で効果的な手法を提案する。 提案アルゴリズムは,クラスインクリメンタル学習とロングテール認識という,2つのクラス不均衡関連タスクに基づいて評価する。 実験結果から,エネルギー整合性はクラス不均衡問題を効果的に軽減し,いくつかのベンチマークで最先端の手法より優れていることが示された。

関連論文リスト

• Balanced Data, Imbalanced Spectra: Unveiling Class Disparities with Spectral Imbalance [11.924440950433658]
  クラス格差の潜在的な源として,特徴量におけるスペクトル不均衡の概念を導入する。 高次元混合モデル設定におけるクラスごとの誤差の正確な式を導出する。 我々はこの現象を11種類の最先端事前訓練エンコーダで研究した。
  論文  参考訳（メタデータ） (2024-02-18T23:59:54Z)
• Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
  クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。 最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。 本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T10:37:41Z)
• Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
  textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。 トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。 非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
  論文  参考訳（メタデータ） (2023-12-27T15:06:36Z)
• Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
  実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。 クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。 バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-05T05:52:44Z)
• Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
  クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。 本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。 我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
  論文  参考訳（メタデータ） (2023-08-27T19:01:29Z)
• Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
  本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。 本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。 本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
  論文  参考訳（メタデータ） (2023-05-06T09:02:10Z)
• Rethinking Class Imbalance in Machine Learning [1.4467794332678536]
  不均衡学習は、クラス不均衡の存在下での学習タスクに焦点を当てた機械学習のサブフィールドである。 本研究では,機械学習におけるクラス不均衡の新しい分類法を提案する。 比例, 分散, 距離不均衡が同時に存在する場合に, 対数摂動に基づく新たな不均衡学習損失を提案する。
  論文  参考訳（メタデータ） (2023-05-06T02:36:39Z)
• Learning to Adapt Classifier for Imbalanced Semi-supervised Learning [38.434729550279116]
  Pseudo-labelingは、有望な半教師付き学習(SSL)パラダイムであることが証明されている。 既存の擬似ラベル法では、トレーニングデータのクラス分布が均衡していると仮定するのが一般的である。 本研究では,不均衡な半教師付きセットアップ下での擬似ラベリングについて検討する。
  論文  参考訳（メタデータ） (2022-07-28T02:15:47Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。