論文の概要: Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition

• arxiv url: http://arxiv.org/abs/2305.10648v2
• Date: Thu, 18 Jul 2024 06:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-20 00:22:15.397141
• Title: Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition
• Title（参考訳）: 長期視覚認識のためのガウス形式のロジット調整
• Authors: Mengke Li, Yiu-ming Cheung, Yang Lu, Zhikai Hu, Weichao Lan, Hui Huang,
• Abstract要約: 特徴レベルの観点から、長い尾の視覚認識の問題について検討する。 2つの新しいロジット調整法が提案され,計算オーバーヘッドの緩やかなモデル性能が向上した。 ベンチマークデータセットを用いて行った実験は,提案手法の最先端手法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 37.62659619941791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is not uncommon that real-world data are distributed with a long tail. For such data, the learning of deep neural networks becomes challenging because it is hard to classify tail classes correctly. In the literature, several existing methods have addressed this problem by reducing classifier bias, provided that the features obtained with long-tailed data are representative enough. However, we find that training directly on long-tailed data leads to uneven embedding space. That is, the embedding space of head classes severely compresses that of tail classes, which is not conducive to subsequent classifier learning. This paper therefore studies the problem of long-tailed visual recognition from the perspective of feature level. We introduce feature augmentation to balance the embedding distribution. The features of different classes are perturbed with varying amplitudes in Gaussian form. Based on these perturbed features, two novel logit adjustment methods are proposed to improve model performance at a modest computational overhead. Subsequently, the distorted embedding spaces of all classes can be calibrated. In such balanced-distributed embedding spaces, the biased classifier can be eliminated by simply retraining the classifier with class-balanced sampling data. Extensive experiments conducted on benchmark datasets demonstrate the superior performance of the proposed method over the state-of-the-art ones. Source code is available at https://github.com/Keke921/GCLLoss.
• Abstract（参考訳）: 現実世界のデータが長い尾で分散されることは珍しくない。 このようなデータでは、テールクラスを正しく分類することが難しいため、ディープニューラルネットワークの学習が困難になる。 文献では、長い尾を持つデータから得られる特徴が十分に代表的であることを前提として、分類器バイアスを減らし、この問題に対処している方法がいくつかある。 しかし、長い尾を持つデータを直接トレーニングすることで、不均一な埋め込みスペースが生まれる。 すなわち、ヘッドクラスの埋め込み空間は、後続の分類器学習とは無関係な尾クラスの埋め込み空間を強く圧縮する。 そこで本稿では,機能レベルの観点から,長い目視認識の問題について検討する。 埋め込み分布のバランスをとるために,機能拡張を導入する。 異なるクラスの特徴はガウス形式の様々な振幅で摂動される。 これらの摂動特性に基づいて, 計算オーバーヘッドの緩やかなモデル性能を改善するために, 2つの新しいロジット調整法を提案する。 その後、すべてのクラスの歪んだ埋め込み空間を校正することができる。 このようなバランスの取れた埋め込み空間では、偏りのある分類器は、単純にクラスバランスのサンプリングデータで分類器を再訓練することで排除することができる。 ベンチマークデータセットを用いた大規模な実験により,提案手法の最先端手法よりも優れた性能を示した。 ソースコードはhttps://github.com/Keke921/GCLLossで入手できる。

関連論文リスト

• Dual Compensation Residual Networks for Class Imbalanced Learning [98.35401757647749]
  そこで本研究では,尾と頭の両方に適合する2次元補償残差ネットワークを提案する。 オーバーフィッティングを引き起こす重要な要因は、トレーニングとテールクラスのテストデータの間に深刻な特徴ドリフトがあることである。 また,不適合問題を軽減するためにResidual Balanced Multi-Proxies分類器を提案する。
  論文  参考訳（メタデータ） (2023-08-25T04:06:30Z)
• Long-tailed Visual Recognition via Gaussian Clouded Logit Adjustment [40.95064819012895]
  我々は,長い尾を持つデータに対するバニラトレーニングが,エントロピー損失を伴って,インスタンスに富んだヘッドクラスが,テールクラスの空間分布を著しく抑制することを示した。 もともとのクロスエントロピー損失は、ロジット差が増加するにつれてソフトマックス形式の勾配が急速にゼロに近づくため、勾配を短周期で伝播させるだけである。 バランスの取れたデータのトレーニングには適さないが、長い尾のデータのサンプルの有効性を調整するために利用することができる。
  論文  参考訳（メタデータ） (2023-05-19T15:11:06Z)
• Inducing Neural Collapse in Deep Long-tailed Learning [13.242721780822848]
  クラス不均衡データの高品質な表現を学習するための2つの明示的な特徴正規化項を提案する。 提案された正規化により、ニューラル崩壊現象はクラス不均衡分布の下に現れる。 本手法は, 実装が容易で, 有効であり, 既存のほとんどの方法に組み込むことができる。
  論文  参考訳（メタデータ） (2023-02-24T05:07:05Z)
• When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method [40.25499257944916]
  実世界のデータセットは騒々しくラベル付けされ、クラス不均衡である。 本稿では,表現キャリブレーション手法RCALを提案する。 我々は,表現キャリブレーションの有効性を論じるために理論的結果を得る。
  論文  参考訳（メタデータ） (2022-11-20T11:36:48Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Learning Muti-expert Distribution Calibration for Long-tailed Video Classification [88.12433458277168]
  2レベル分布情報に基づくエンドツーエンドのマルチエキスパート分布校正手法を提案する。 この2段階の分布情報をモデル化することで、モデルはヘッドクラスとテールクラスを考慮できる。 本手法は,長編ビデオ分類作業における最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-22T09:52:34Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling Analysis [36.298869931803836]
  ロングテール関係分類は、ヘッドクラスがトレーニングフェーズを支配しているため、難しい問題である。 そこで本研究では,関係を自動的に集約することで,ソフトウェイトを割り当てる,注意関係ルーティング付きロバストな分類器を提案する。
  論文  参考訳（メタデータ） (2020-09-15T12:47:00Z)
• Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
  ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。 モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
  論文  参考訳（メタデータ） (2020-07-20T05:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。