論文の概要: Normalizing Batch Normalization for Long-Tailed Recognition

• arxiv url: http://arxiv.org/abs/2501.03122v1
• Date: Mon, 06 Jan 2025 16:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:06:54.813683
• Title: Normalizing Batch Normalization for Long-Tailed Recognition
• Title（参考訳）: 長期音声認識のための正規化バッチ正規化
• Authors: Yuxiang Bao, Guoliang Kang, Linlin Yang, Xiaoyue Duan, Bo Zhao, Baochang Zhang,
• Abstract要約: 頻繁なクラスに対するバイアスは、特徴にエンコードされる可能性がある。つまり、稀なクラスを識別する上で重要な役割を果たす稀な特徴は、頻繁な特定の特徴よりもはるかに弱い。 我々は、特徴バイアスを明示的に修正するために、バッチ正規化層のパラメータを正規化する、単純で効果的なアプローチを導入します。 我々の手法は過去の最先端を著しく上回る。
• 参考スコア（独自算出の注目度）: 25.756280051336066
• License:
• Abstract: In real-world scenarios, the number of training samples across classes usually subjects to a long-tailed distribution. The conventionally trained network may achieve unexpected inferior performance on the rare class compared to the frequent class. Most previous works attempt to rectify the network bias from the data-level or from the classifier-level. Differently, in this paper, we identify that the bias towards the frequent class may be encoded into features, i.e., the rare-specific features which play a key role in discriminating the rare class are much weaker than the frequent-specific features. Based on such an observation, we introduce a simple yet effective approach, normalizing the parameters of Batch Normalization (BN) layer to explicitly rectify the feature bias. To achieve this end, we represent the Weight/Bias parameters of a BN layer as a vector, normalize it into a unit one and multiply the unit vector by a scalar learnable parameter. Through decoupling the direction and magnitude of parameters in BN layer to learn, the Weight/Bias exhibits a more balanced distribution and thus the strength of features becomes more even. Extensive experiments on various long-tailed recognition benchmarks (i.e., CIFAR-10/100-LT, ImageNet-LT and iNaturalist 2018) show that our method outperforms previous state-of-the-arts remarkably. The code and checkpoints are available at https://github.com/yuxiangbao/NBN.
• Abstract（参考訳）: 実世界のシナリオでは、クラス全体にわたるトレーニングサンプルの数は、通常、長い尾の分布の対象となる。 従来訓練されたネットワークは、稀なクラスに対して、頻繁なクラスと比較して予期せぬ劣悪な性能を達成できる。 これまでのほとんどの研究は、ネットワークバイアスをデータレベルから、あるいは分類器レベルから修正しようと試みていた。 異なることに,本論文では,頻度の高いクラスに対するバイアスが特徴にコード化される可能性があること,すなわち,稀なクラスを識別する上で重要な役割を担う稀な特徴が,頻繁な特定の特徴よりもはるかに弱いことを明らかにする。 このような観察に基づいて、我々は、特徴バイアスを明示的に修正するために、バッチ正規化(BN)層のパラメータを正規化する、単純で効果的なアプローチを導入する。 この目的を達成するために、BN層の重み/バイアスパラメータをベクトルとして表現し、それを単位ベクトルに正規化し、スカラー学習可能なパラメータで単位ベクトルを乗算する。 BN層内のパラメータの方向と大きさを分離して学習することにより、ウェイト/バイアスはよりバランスの取れた分布を示し、特徴の強さはさらに高くなる。 CIFAR-10/100-LT, ImageNet-LT, iNaturalist 2018など, 様々な長鎖認識ベンチマークの大規模な実験により, 従来の最先端技術よりも優れていたことが判明した。 コードとチェックポイントはhttps://github.com/yuxiangbao/NBNで公開されている。

関連論文リスト

• GHOST: Gaussian Hypothesis Open-Set Technique [10.426399605773083]
  大規模認識手法の評価は通常、全体的な性能に重点を置いている。 オープンセット認識(OSR)における公平性に対処し,クラスごとのパフォーマンスが劇的に変化することを示す。 Zスコア正規化をロジットに適用し、モデルの期待から逸脱する特徴量の影響を軽減する。
  論文  参考訳（メタデータ） (2025-02-05T16:56:14Z)
• Neural Networks Learn Statistics of Increasing Complexity [2.1004767452202637]
  分散単純バイアス(DSB)は、ニューラルネットワークがまずデータ分散の低次モーメントを学習する、という仮説である。 ネットワークは、トレーニングの初期段階のトレーニングセットと低次の統計値が一致した最大エントロピー分布で自動的によく学習され、その後にその能力を失うことを示す。 我々は, あるクラスの低次統計データを外科的に編集し, 早期学習ネットワークが, 対象クラスから抽出したもののように, 編集標本を処理していることを示すために, 最適な輸送手法を用いた。
  論文  参考訳（メタデータ） (2024-02-06T20:03:35Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
  本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。 まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。 第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
  論文  参考訳（メタデータ） (2021-08-29T05:45:03Z)
• Using UNet and PSPNet to explore the reusability principle of CNN parameters [5.623232537411766]
  深層畳み込みニューラルネットワークの各層におけるパラメータの再利用性を実験的に定量化する。 平均値と分散の実行は、BN層におけるWeightやBiasよりも重要な役割を担います。 畳み込みレイヤのバイアスはセンシティブではなく、直接再利用することができる。
  論文  参考訳（メタデータ） (2020-08-08T01:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。