論文の概要: Long-Tailed Recognition via Weight Balancing
- arxiv url: http://arxiv.org/abs/2203.14197v1
- Date: Sun, 27 Mar 2022 03:26:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-02 22:23:58.944754
- Title: Long-Tailed Recognition via Weight Balancing
- Title(参考訳): 重みバランスによるロングテール認識
- Authors: Shaden Alshammari, Yu-Xiong Wang, Deva Ramanan, Shu Kong
- Abstract要約: ナイーブトレーニングは、より高い精度で一般的なクラスに偏ったモデルを生成する。
重みのバランス、L2-正規化、重みの崩壊、MaxNormの3つの手法について検討する。
提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
- 参考スコア(独自算出の注目度): 66.03068252811993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the real open world, data tends to follow long-tailed class distributions,
motivating the well-studied long-tailed recognition (LTR) problem. Naive
training produces models that are biased toward common classes in terms of
higher accuracy. The key to addressing LTR is to balance various aspects
including data distribution, training losses, and gradients in learning. We
explore an orthogonal direction, weight balancing, motivated by the empirical
observation that the naively trained classifier has "artificially" larger
weights in norm for common classes (because there exists abundant data to train
them, unlike the rare classes). We investigate three techniques to balance
weights, L2-normalization, weight decay, and MaxNorm. We first point out that
L2-normalization "perfectly" balances per-class weights to be unit norm, but
such a hard constraint might prevent classes from learning better classifiers.
In contrast, weight decay penalizes larger weights more heavily and so learns
small balanced weights; the MaxNorm constraint encourages growing small weights
within a norm ball but caps all the weights by the radius. Our extensive study
shows that both help learn balanced weights and greatly improve the LTR
accuracy. Surprisingly, weight decay, although underexplored in LTR,
significantly improves over prior work. Therefore, we adopt a two-stage
training paradigm and propose a simple approach to LTR: (1) learning features
using the cross-entropy loss by tuning weight decay, and (2) learning
classifiers using class-balanced loss by tuning weight decay and MaxNorm. Our
approach achieves the state-of-the-art accuracy on five standard benchmarks,
serving as a future baseline for long-tailed recognition.
- Abstract(参考訳): 実際のオープンな世界では、データは長い尾のクラス分布に従う傾向があり、よく研究された長い尾の認識(LTR)問題を動機付けている。
ナイーブトレーニングは、より高い精度で共通のクラスに偏ったモデルを生成する。
LTRに対処する鍵は、データの分散、トレーニング損失、学習の勾配など、さまざまな側面のバランスをとることだ。
直交方向, 重みバランスを探索し, 比例的に訓練された分類器は普通クラスに対して「厳密に」大きな重みを持つという経験的観察に動機づけられた(希少クラスとは異なり、訓練するデータが豊富にあるため)。
重量バランス, L2-正規化, 重量崩壊, MaxNormの3つの手法について検討した。
まず、L2-正規化はクラスごとの重みを単位ノルムとして「完全に」バランスをとることを指摘したが、そのような厳しい制約はクラスがより良い分類器を学ぶことを妨げかねない。
対照的に、重量減衰はより重い重量をペナル化するので、小さなバランスの取れた重量を学習する。
我々の広範な研究は、両者がバランスの取れた重量を学習し、LTRの精度を大幅に改善することを示しています。
驚くべきことに、LTRであまり探索されていないが、以前の作業よりも大幅に改善されている。
そこで我々は,2段階の学習パラダイムを採用し,(1)ウェイト減衰のチューニングによるクロスエントロピー損失を用いた学習特徴,(2)ウェイト減衰のチューニングによるクラスバランス損失を用いた学習分類器を提案する。
提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
関連論文リスト
- CLASSP: a Biologically-Inspired Approach to Continual Learning through Adjustment Suppression and Sparsity Promotion [0.0]
本稿では,適応抑制・分散促進(CLASSP)による継続学習という新しい学習手法を提案する。
CLASSPは神経科学、特にシナプス伝達と長期増強の文脈で観察される2つの主要な原理に基づいている。
Elastic Weight Consolidation (EWC)データセットと比較すると、CLASSPは精度とメモリフットプリントの点で優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-04-29T13:31:00Z) - Why Do We Need Weight Decay in Modern Deep Learning? [24.81634291051533]
重崩壊は、画像分類から大規模言語モデルまで、最先端の深層ネットワークを訓練するための技術である。
本研究では,現代深層学習における重量減衰の役割が,古典的学習理論で研究される正規化効果と異なる点を強調する。
マルチパスSGDで訓練された視覚タスクのディープネットワークにおいて、重み劣化がSGDの暗黙の正則化を促進する最適化力学をどのように修正するかを示す。
論文 参考訳(メタデータ) (2023-10-06T17:58:21Z) - InRank: Incremental Low-Rank Learning [85.6380047359139]
勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。
既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。
InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
論文 参考訳(メタデータ) (2023-06-20T03:03:04Z) - Exploring Weight Balancing on Long-Tailed Recognition Problem [32.01426831450348]
クラスごとのサンプルサイズが重く歪んだ長いデータにおける認識問題の重要性が高まっている。
古典的正規化技術と2段階トレーニングを組み合わせた重みバランスが提案されている。
トレーニング段階ごとの神経崩壊とコーン効果に着目して重量バランスを解析した。
論文 参考訳(メタデータ) (2023-05-26T01:45:19Z) - Adaptive Distribution Calibration for Few-Shot Learning with
Hierarchical Optimal Transport [78.9167477093745]
本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。
標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
論文 参考訳(メタデータ) (2022-10-09T02:32:57Z) - Learning to Re-weight Examples with Optimal Transport for Imbalanced
Classification [74.62203971625173]
不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。
不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。
本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
論文 参考訳(メタデータ) (2022-08-05T01:23:54Z) - Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for
Imbalanced Learning [97.81549071978789]
勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。
大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-04-19T08:23:23Z) - Distributional Robustness Loss for Long-tail Learning [20.800627115140465]
現実世界のデータはしばしばアンバランスで長尾ですが、深いモデルは頻繁なクラスの存在下でまれなクラスを認識するのに苦労します。
ディープネットワークの特徴抽出器部分は,このバイアスに大きく悩まされていることを示す。
モデルが頭と尾の両方のクラスで高品質の表現を学ぶことを奨励するロバストネス理論に基づく新しい損失を提案します。
論文 参考訳(メタデータ) (2021-04-07T11:34:04Z) - Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。
また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文 参考訳(メタデータ) (2020-02-26T15:40:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。