論文の概要: The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition

• arxiv url: http://arxiv.org/abs/2210.05566v1
• Date: Tue, 11 Oct 2022 16:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 16:29:03.137305
• Title: The Equalization Losses: Gradient-Driven Training for Long-tailed Object Recognition
• Title（参考訳）: 等化損失:長尾物体認識のための勾配駆動学習
• Authors: Jingru Tan, Bo Li, Xin Lu, Yongqiang Yao, Fengwei Yu, Tong He, Wanli Ouyang
• Abstract要約: 本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。 我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。 我々の手法は一貫してベースラインモデルより優れています。
• 参考スコア（独自算出の注目度）: 84.51875325962061
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-tail distribution is widely spread in real-world applications. Due to the extremely small ratio of instances, tail categories often show inferior accuracy. In this paper, we find such performance bottleneck is mainly caused by the imbalanced gradients, which can be categorized into two parts: (1) positive part, deriving from the samples of the same category, and (2) negative part, contributed by other categories. Based on comprehensive experiments, it is also observed that the gradient ratio of accumulated positives to negatives is a good indicator to measure how balanced a category is trained. Inspired by this, we come up with a gradient-driven training mechanism to tackle the long-tail problem: re-balancing the positive/negative gradients dynamically according to current accumulative gradients, with a unified goal of achieving balance gradient ratios. Taking advantage of the simple and flexible gradient mechanism, we introduce a new family of gradient-driven loss functions, namely equalization losses. We conduct extensive experiments on a wide spectrum of visual tasks, including two-stage/single-stage long-tailed object detection (LVIS), long-tailed image classification (ImageNet-LT, Places-LT, iNaturalist), and long-tailed semantic segmentation (ADE20K). Our method consistently outperforms the baseline models, demonstrating the effectiveness and generalization ability of the proposed equalization losses. Codes will be released at https://github.com/ModelTC/United-Perception.
• Abstract（参考訳）: ロングテール分布は現実世界のアプリケーションで広く普及している。 インスタンスの比率が非常に小さいため、尾のカテゴリは精度が劣ることが多い。 本稿では, この性能ボトルネックは, 主に不均衡勾配が原因であり, 正の部分, 同一カテゴリのサンプルから派生した正部分, 負の部分, その他のカテゴリが寄与する負の部分の2つに分類できる。 包括的実験により, 累積正の負への勾配比は, カテゴリーのバランスがどの程度訓練されているかを示す良い指標であることがわかった。 これにより,現在の累積勾配に応じて動的に正負の勾配を再バランスし,バランス勾配比を達成するという目標が統一された,ロングテール問題に取り組むための勾配駆動型トレーニング機構を考案した。 単純でフレキシブルな勾配機構を利用して、勾配駆動型損失関数の新しいファミリー、すなわち等化損失を導入する。 我々は,2段階/1段階の長い尾オブジェクト検出(LVIS),長い尾の画像分類(ImageNet-LT, Places-LT, iNaturalist),長い尾のセマンティックセマンティックセマンティックセマンティックセグメンテーション(ADE20K)など,幅広い視覚課題について広範な実験を行った。 提案手法は,提案する等化損失の有効性と一般化性を実証し,ベースラインモデルを一貫して上回っている。 コードはhttps://github.com/ModelTC/United-Perceptionでリリースされる。

関連論文リスト

• Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier [30.931850375858573]
  実世界の環境では、データは長い尾の分布に従い、ヘッドクラスはテールクラスよりもはるかに多くのトレーニングサンプルを含む。 本稿では、最適化プロセスのバランスをとるために、累積勾配に基づいてロジットを調整するグラディエント・アウェア・ロジット調整(GALA)の損失を提案する。 提案手法は,一般的なロングテール認識ベンチマークデータセットにおいて,48.5%,41.4%,73.3%のTop-1精度を実現する。
  論文  参考訳（メタデータ） (2024-03-14T02:21:01Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Long-Tailed Learning as Multi-Objective Optimization [29.012779934262973]
  シーソージレンマは、異なるクラスの勾配不均衡に由来すると論じる。 そこで我々は,同じような勾配方向のクラスを収集するグラディエント・バランシング・グループ(GBG)戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:30:31Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
  各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。 In-Training Representation Alignment (ITRA) を提案する。 また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
  論文  参考訳（メタデータ） (2022-11-23T22:23:22Z)
• A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
  本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
  論文  参考訳（メタデータ） (2022-07-01T12:54:38Z)
• Seesaw Loss for Long-Tailed Instance Segmentation [131.86306953253816]
  本稿では,各カテゴリの正試料と負試料の動的再バランス勾配を求めるシーソー損失を提案する。 緩和因子は、異なるカテゴリ間の累積トレーニングインスタンスの比率に比例して、罰を尾のカテゴリに還元する。 補償係数は、末尾カテゴリーの偽陽性を避けるために、誤分類されたインスタンスのペナルティを増加させる。
  論文  参考訳（メタデータ） (2020-08-23T12:44:45Z)
• Equalization Loss for Long-Tailed Object Recognition [109.91045951333835]
  最先端のオブジェクト検出手法は、大きな語彙と長い尾を持つデータセットでは依然として不十分である。 そこで本稿では,長期的希少なカテゴリーの課題に対処するために,同化損失という,シンプルだが効果的な損失を提案する。 LVISベンチマークでは,レアおよび共通カテゴリのAP利得が4.1%,レアおよび共通カテゴリが4.8%である。
  論文  参考訳（メタデータ） (2020-03-11T09:14:53Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。