論文の概要: Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect

• arxiv url: http://arxiv.org/abs/2009.12991v4
• Date: Thu, 11 Feb 2021 04:10:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 20:38:14.142036
• Title: Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect
• Title（参考訳）: 善意の維持と悪口因果効果の除去による長期的分類
• Authors: Kaihua Tang, Jianqiang Huang, Hanwang Zhang
• Abstract要約: 長い尾の分類は、大規模なディープラーニングの鍵である。 既存の手法は主に、基本的な理論を欠いた再重み付け/再サンプリングに基づいている。 本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。
• 参考スコア（独自算出の注目度）: 95.37587481952487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the class size grows, maintaining a balanced dataset across many classes is challenging because the data are long-tailed in nature; it is even impossible when the sample-of-interest co-exists with each other in one collectable unit, e.g., multiple visual instances in one image. Therefore, long-tailed classification is the key to deep learning at scale. However, existing methods are mainly based on re-weighting/re-sampling heuristics that lack a fundamental theory. In this paper, we establish a causal inference framework, which not only unravels the whys of previous methods, but also derives a new principled solution. Specifically, our theory shows that the SGD momentum is essentially a confounder in long-tailed classification. On one hand, it has a harmful causal effect that misleads the tail prediction biased towards the head. On the other hand, its induced mediation also benefits the representation learning and head prediction. Our framework elegantly disentangles the paradoxical effects of the momentum, by pursuing the direct causal effect caused by an input sample. In particular, we use causal intervention in training, and counterfactual reasoning in inference, to remove the "bad" while keep the "good". We achieve new state-of-the-arts on three long-tailed visual recognition benchmarks: Long-tailed CIFAR-10/-100, ImageNet-LT for image classification and LVIS for instance segmentation.
• Abstract（参考訳）: クラスのサイズが大きくなるにつれて、多くのクラスでバランスのとれたデータセットを維持することは、データが本質的に長い尾を持つため困難である。 したがって、ロングテール分類は、大規模でディープラーニングの鍵となる。 しかし、既存の手法は主に基本理論を欠いた再重み付け/再サンプリングヒューリスティックに基づいている。 本稿では,従来の手法の理由を解明するだけでなく,新たな原理的解を導出する因果推論の枠組みを確立する。 特に我々の理論は、sgd運動量は本質的にロングテール分類の共起体であることを示している。 一方、尾部予測を頭部に偏った形で誤解させるような有害な因果効果がある。 一方,その誘導的調停は表現学習や頭部予測にも有用である。 本フレームワークは,入力サンプルによる直接因果効果を追求することで,運動量のパラドックス効果をエレガントに解消する。 特に,トレーニングにおける因果介入や推論における反ファクト推論を用いて,「良い」を維持しながら「悪い」を除去する。 長い尾のCIFAR-10/-100、画像分類のためのImageNet-LT、例分割のためのLVISの3つの長尾の視覚認識ベンチマークにおいて、新しい最先端技術を実現する。

関連論文リスト

• Rectify the Regression Bias in Long-Tailed Object Detection [29.34827806854778]
  長い尾を持つ物体検出は、非常に不均衡なクラス分布のため、大きな課題に直面している。 近年の手法は, 回帰枝の微妙な影響を無視しつつ, 分類バイアスとその損失関数設計に重点を置いている。 本稿では, 回帰バイアスが存在し, 検出精度に悪影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-01-29T04:40:33Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• SINCERE: Supervised Information Noise-Contrastive Estimation REvisited [5.004880836963827]
  これまでの研究では、InfoNCEを拡張して利用可能なクラスラベルから学ぶために、教師付きコントラスト(SupCon)損失が示唆されていた。 本稿では,InfoNCE の教師付き拡張として Supervised InfoNCE Revisited (SINCERE) 損失を提案する。 実験により、SINCEREは、異なるクラスから埋め込みを分離し、転送学習の分類精度を向上させることが示されている。
  論文  参考訳（メタデータ） (2023-09-25T16:40:56Z)
• The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition [84.51875325962061]
  本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-10-11T16:00:36Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Investigate the Essence of Long-Tailed Recognition from a Unified Perspective [11.080317683184363]
  深層認識モデルは、カテゴリ間の重い不均衡なサンプル数のために、長い尾のデータ分布に悩まされることが多い。 本研究では,長い尾の認識が標本数とカテゴリの類似性の両方に悩まされていることを示す。
  論文  参考訳（メタデータ） (2021-07-08T11:08:40Z)
• Distributional Robustness Loss for Long-tail Learning [20.800627115140465]
  現実世界のデータはしばしばアンバランスで長尾ですが、深いモデルは頻繁なクラスの存在下でまれなクラスを認識するのに苦労します。 ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。 モデルが頭と尾の両方のクラスで高品質の表現を学ぶことを奨励するロバストネス理論に基づく新しい損失を提案します。
  論文  参考訳（メタデータ） (2021-04-07T11:34:04Z)
• Seesaw Loss for Long-Tailed Instance Segmentation [131.86306953253816]
  本稿では,各カテゴリの正試料と負試料の動的再バランス勾配を求めるシーソー損失を提案する。 緩和因子は、異なるカテゴリ間の累積トレーニングインスタンスの比率に比例して、罰を尾のカテゴリに還元する。 補償係数は、末尾カテゴリーの偽陽性を避けるために、誤分類されたインスタンスのペナルティを増加させる。
  論文  参考訳（メタデータ） (2020-08-23T12:44:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。