論文の概要: Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach

• arxiv url: http://arxiv.org/abs/2403.00250v1
• Date: Fri, 1 Mar 2024 03:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 18:26:29.180022
• Title: Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach
• Title（参考訳）: 長期音声認識における分類器再訓練の再考 : 簡単なログ再ターゲティングアプローチ
• Authors: Han Lu, Siyu Sun, Yichen Xie, Liqing Zhang, Xiaokang Yang, Junchi Yan
• Abstract要約: 我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 102.0769560460338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the long-tailed recognition field, the Decoupled Training paradigm has demonstrated remarkable capabilities among various methods. This paradigm decouples the training process into separate representation learning and classifier re-training. Previous works have attempted to improve both stages simultaneously, making it difficult to isolate the effect of classifier re-training. Furthermore, recent empirical studies have demonstrated that simple regularization can yield strong feature representations, emphasizing the need to reassess existing classifier re-training methods. In this study, we revisit classifier re-training methods based on a unified feature representation and re-evaluate their performances. We propose a new metric called Logits Magnitude as a superior measure of model performance, replacing the commonly used Weight Norm. However, since it is hard to directly optimize the new metric during training, we introduce a suitable approximate invariant called Regularized Standard Deviation. Based on the two newly proposed metrics, we prove that reducing the absolute value of Logits Magnitude when it is nearly balanced can effectively decrease errors and disturbances during training, leading to better model performance. Motivated by these findings, we develop a simple logits retargeting approach (LORT) without the requirement of prior knowledge of the number of samples per class. LORT divides the original one-hot label into small true label probabilities and large negative label probabilities distributed across each class. Our method achieves state-of-the-art performance on various imbalanced datasets, including CIFAR100-LT, ImageNet-LT, and iNaturalist2018.
• Abstract（参考訳）: 長い尾の認識領域では、デカップリング訓練パラダイムは様々な手法で顕著な能力を示した。 このパラダイムは、トレーニングプロセスを別々の表現学習と分類器再学習に分離する。 従来の研究は両方の段階を同時に改善しようと試みており、分類器の再訓練の効果を分離することは困難である。 さらに、最近の実証研究は、単純な正規化が強力な特徴表現をもたらすことを実証し、既存の分類器の再訓練方法を再評価する必要性を強調している。 本研究では,統一的な特徴表現に基づく分類器の再学習法を再検討し,その性能を再評価する。 我々は、一般的なウェイトノルムの代わりに、モデル性能の優れた尺度として、ロジッツ・マグニチュードと呼ばれる新しい指標を提案する。 しかし、トレーニング中に新しいメトリックを直接最適化することは困難であるため、正規化標準偏差と呼ばれる適切な近似不変量を導入する。 新たに提案した2つの指標から,ほぼバランスの取れた場合のログの絶対値の低減は,トレーニング中のエラーや障害を効果的に低減し,モデル性能の向上につながることを証明した。 本研究の目的は,クラスごとのサンプル数に関する事前知識を必要とせず,簡単なロジット再ターゲティングアプローチ(LORT)を開発することである。 LORTは、元の1ホットラベルを小さな真のラベル確率と、各クラスに分散した大きな負のラベル確率に分割する。 CIFAR100-LT, ImageNet-LT, iNaturalist2018 など,様々な不均衡データセットの最先端性能を実現する。

関連論文リスト

• An Efficient Replay for Class-Incremental Learning with Pre-trained Models [0.0]
  授業増分学習では,各クラス中心で案内される重み間の定常状態が破壊され,忘れることと大きく相関する。 忘れを克服する新しい方法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T11:26:28Z)
• Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
  クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。 最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。 本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T10:37:41Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Few-shot Learning via Dependency Maximization and Instance Discriminant Analysis [21.8311401851523]
  そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。 本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T02:19:01Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。