論文の概要: Exploring Weight Balancing on Long-Tailed Recognition Problem
- arxiv url: http://arxiv.org/abs/2305.16573v6
- Date: Mon, 29 Jan 2024 13:34:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 22:44:47.636126
- Title: Exploring Weight Balancing on Long-Tailed Recognition Problem
- Title(参考訳): ロングテール認識問題における重みバランスの検討
- Authors: Naoya Hasegawa, Issei Sato
- Abstract要約: トレーニング段階ごとの神経崩壊とコーン効果に着目して重量バランスを解析した。
本分析により, トレーニング段階数を1に減らし, 精度を向上し, トレーニング手法をさらに単純化することができる。
- 参考スコア(独自算出の注目度): 37.820617032391404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recognition problems in long-tailed data, in which the sample size per class
is heavily skewed, have gained importance because the distribution of the
sample size per class in a dataset is generally exponential unless the sample
size is intentionally adjusted. Various methods have been devised to address
these problems. Recently, weight balancing, which combines well-known classical
regularization techniques with two-stage training, has been proposed. Despite
its simplicity, it is known for its high performance compared with existing
methods devised in various ways. However, there is a lack of understanding as
to why this method is effective for long-tailed data. In this study, we analyze
weight balancing by focusing on neural collapse and the cone effect at each
training stage and found that it can be decomposed into an increase in Fisher's
discriminant ratio of the feature extractor caused by weight decay and cross
entropy loss and implicit logit adjustment caused by weight decay and
class-balanced loss. Our analysis enables the training method to be further
simplified by reducing the number of training stages to one while increasing
accuracy.
- Abstract(参考訳): データセット内のクラス毎のサンプルサイズ分布が故意に調整されない限り、一般的に指数関数的であるため、ロングテールデータにおけるクラス毎のサンプルサイズが大きく歪んだ認識問題の重要性が高まっている。
これらの問題に対処する様々な方法が考案されている。
近年,有名な古典的正規化手法と二段階訓練を組み合わせた重みバランスが提案されている。
その単純さにもかかわらず、様々な方法で考案された既存の手法と比較して高い性能で知られている。
しかし,この手法が長期データに有効である理由については理解されていない。
本研究では,各訓練段階における神経崩壊と錐体効果に着目して,体重バランスの分析を行い,体重減少とクロスエントロピー損失による特徴抽出器のフィッシャーの判別比の増加と,体重減少とクラスバランス損失による暗黙のロジット調整に分解できることを見出した。
本分析により,トレーニング段階数を1に減らし,精度を向上し,トレーニング手法をさらに単純化することができる。
関連論文リスト
- Small-scale proxies for large-scale Transformer training instabilities [69.36381318171338]
我々は、小規模でトレーニングの安定性と不安定性を再現し、研究する方法を模索する。
学習速度とスケールによる損失の関係を計測することにより,これらの不安定性は,学習率の高いトレーニングにおいて,小さなモデルにも現れることを示す。
ウォームアップ,ウェイト崩壊,および$mu$Paramなどの手法を用いて,学習速度変化の桁数で同様の損失を被る小さなモデルを訓練する。
論文 参考訳(メタデータ) (2023-09-25T17:48:51Z) - Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition [41.38745794825594]
特徴量の観点から、長い尾の視覚認識の問題について検討する。
2つの新しいロジット調整法が提案され,計算オーバーヘッドの少ないモデル性能が向上した。
論文 参考訳(メタデータ) (2023-05-18T02:06:06Z) - CUDA: Curriculum of Data Augmentation for Long-Tailed Recognition [10.441880303257468]
クラス不均衡問題は現実世界のタスクで頻繁に発生する。
この問題を軽減するために、多くのアプローチがトレーニングサンプルの再重み付けや再サンプリングによって、各クラス間でバランスをとることを目標にしている。
これらの再バランス手法は、マイノリティクラスの影響を増大させ、モデルの出力に対する多数派クラスの影響を減少させる。
多数サンプルの特徴によって少数サンプルの表現を増大させる手法が開発されている。
論文 参考訳(メタデータ) (2023-02-10T20:30:22Z) - Delving into Semantic Scale Imbalance [45.30062061215943]
クラスの特徴的多様性を測定するために使用されるクラスの意味的スケールを定義し,定量化する。
本稿では、一般的な損失改善スキームと動的再重み付けトレーニングフレームワークを含む意味尺度バランス学習を提案する。
総合的な実験により、動的セマンティック・スケール・バランス・ラーニングにより、大規模で長い尾を持つ非長い尾を持つ自然および医学的なデータセットにおいて、モデルが優れたパフォーマンスを発揮することが示されている。
論文 参考訳(メタデータ) (2022-12-30T09:40:09Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳(メタデータ) (2022-08-05T01:23:54Z) - Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。
実験結果から,これらの手法が直面する課題を分析した。
本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
論文 参考訳(メタデータ) (2022-03-23T07:33:37Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳(メタデータ) (2022-02-11T13:49:51Z) - Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。
半教師付き長尾認識という新しい認識設定を提案する。
2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
論文 参考訳(メタデータ) (2021-05-01T00:43:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。