論文の概要: Long-tail learning via logit adjustment

• arxiv url: http://arxiv.org/abs/2007.07314v2
• Date: Fri, 9 Jul 2021 21:23:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 13:59:13.421624
• Title: Long-tail learning via logit adjustment
• Title（参考訳）: logit調整によるロングテール学習
• Authors: Aditya Krishna Menon and Sadeep Jayasumana and Ankit Singh Rawat and Himanshu Jain and Andreas Veit and Sanjiv Kumar
• Abstract要約: 現実世界の分類問題は通常、不均衡または長い尾のラベルの分布を示す。 これは、そのようなラベルを一般化する上での課題であり、また、支配的なラベルに偏った「学習」をもたらさせる。 これらの課題に対処するために、標準的なソフトマックスクロスエントロピートレーニングの2つの簡単な修正を提案する。
• 参考スコア（独自算出の注目度）: 67.47668112425225
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Real-world classification problems typically exhibit an imbalanced or long-tailed label distribution, wherein many labels are associated with only a few samples. This poses a challenge for generalisation on such labels, and also makes na\"ive learning biased towards dominant labels. In this paper, we present two simple modifications of standard softmax cross-entropy training to cope with these challenges. Our techniques revisit the classic idea of logit adjustment based on the label frequencies, either applied post-hoc to a trained model, or enforced in the loss during training. Such adjustment encourages a large relative margin between logits of rare versus dominant labels. These techniques unify and generalise several recent proposals in the literature, while possessing firmer statistical grounding and empirical performance.
• Abstract（参考訳）: 実世界の分類問題は通常、不均衡またはロングテールのラベル分布を示し、多くのラベルは少数のサンプルに関連付けられる。 これはそのようなラベルの一般化に挑戦し、na\"ive learningを支配的なラベルに偏らせる。 本稿では,これらの課題に対処するために,標準ソフトマックスクロスエントロピートレーニングの2つの簡単な修正を提案する。 本手法では,ラベル周波数に基づくロジット調整の古典的考え方を再考し,トレーニングモデルにポストホックを適用したり,トレーニング中に損失を強制したりする。 このような調整は、レアラベルと支配ラベルのロジットの間に大きな相対的マージンをもたらす。 これらの技術は、統計的根拠と経験的パフォーマンスをしっかりと保ちながら、文学における最近のいくつかの提案を統一し、一般化する。

関連論文リスト

• Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
  クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。 本稿では, ラベルスキュード・フェデレート学習における新しい手法であるFedVLSについて紹介する。
  論文  参考訳（メタデータ） (2024-01-04T16:06:31Z)
• Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning [97.88458953075205]
  Pseudo-labelingは、ラベルなしデータを利用するための人気で効果的なアプローチとして登場した。 本稿では,クラスアウェアの擬似ラベル処理を行うCAP(Class-Aware Pseudo-Labeling)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T12:52:18Z)
• Towards Calibrated Model for Long-Tailed Visual Recognition from Prior Perspective [17.733087434470907]
  実世界のデータは、深刻な階級不均衡問題に直面し、長い尾の分布を示す。 本稿では,このジレンマを緩和する2つの新しい手法を提案する。 まず、UniMix(UniMix)と呼ばれるバランス指向データ拡張を推定し、長期のシナリオでミキサアップを促進する。 第二に、ベイズ理論に動機づけられたベイズバイアス(ベイアズ)は、標準的なクロスエントロピー損失の修正としてそれを補償する。
  論文  参考訳（メタデータ） (2021-11-06T12:53:34Z)
• An Empirical Investigation of Learning from Biased Toxicity Labels [15.822714574671412]
  我々は,人間の注釈付きラベルの小さなデータセットと,合成されたラベルの大きいがノイズの多いデータセットを,異なるトレーニング戦略が活用できるかを検討する。 これらの手法の精度と公平性、および両者のトレードオフを評価する。
  論文  参考訳（メタデータ） (2021-10-04T17:19:57Z)
• Robust Long-Tailed Learning under Label Noise [50.00837134041317]
  本研究では,長期ラベル分布におけるラベルノイズ問題について検討する。 本稿では,長期学習のための雑音検出を実現する頑健なフレームワークAlgoを提案する。 我々のフレームワークは、半教師付き学習アルゴリズムを自然に活用して一般化をさらに改善することができる。
  論文  参考訳（メタデータ） (2021-08-26T03:45:00Z)
• Disentangling Sampling and Labeling Bias for Learning in Large-Output Spaces [64.23172847182109]
  異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。 すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T15:40:13Z)
• Harmless label noise and informative soft-labels in supervised classification [1.6752182911522517]
  トレーニング例の手動ラベリングは、教師付き学習の一般的なプラクティスです。 ラベル処理が非自明な難易度である場合、供給されたラベルは接地ラベルと等しくなく、ラベルノイズをトレーニングデータセットに導入する。 特に、分類困難がラベルエラーの唯一の原因である場合、複数のノイズラベルセットは、分類規則の推定により多くの情報を提供することができる。
  論文  参考訳（メタデータ） (2021-04-07T02:56:11Z)
• Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets [98.74153364118898]
  本稿では,長距離クラス分布を示す多ラベル認識問題に対して,分散ベース損失と呼ばれる新たな損失関数を提案する。 Distribution-Balanced Lossは、標準的なバイナリのクロスエントロピー損失に対する2つの重要な修正を通じて、これらの問題に取り組む。 パスカルVOCとCOCOの両方の実験により、この新しい損失関数で訓練されたモデルは、大幅な性能向上を達成できた。
  論文  参考訳（メタデータ） (2020-07-19T11:50:10Z)
• Rethinking the Value of Labels for Improving Class-Imbalanced Learning [20.953282288425118]
  クラス不均衡学習は、半教師ありと自己教師ありの両方の方法において有益である。 不均衡なラベルは常に役に立ちません。 この結果から,現実的な長期タスクにおける不均衡ラベルの使用を再考する必要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2020-06-13T01:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。