論文の概要: Long-tailed Visual Recognition via Gaussian Clouded Logit Adjustment
- arxiv url: http://arxiv.org/abs/2305.11733v1
- Date: Fri, 19 May 2023 15:11:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 14:01:20.206692
- Title: Long-tailed Visual Recognition via Gaussian Clouded Logit Adjustment
- Title（参考訳）: Gaussian Clouded Logit Adjustmentによる長期視覚認識
- Authors: Mengke Li, Yiu-ming Cheung, Yang Lu
- Abstract要約: 我々は,長い尾を持つデータに対するバニラトレーニングが,エントロピー損失を伴って,インスタンスに富んだヘッドクラスが,テールクラスの空間分布を著しく抑制することを示した。
もともとのクロスエントロピー損失は、ロジット差が増加するにつれてソフトマックス形式の勾配が急速にゼロに近づくため、勾配を短周期で伝播させるだけである。
バランスの取れたデータのトレーニングには適さないが、長い尾のデータのサンプルの有効性を調整するために利用することができる。
- 参考スコア（独自算出の注目度）: 40.95064819012895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-tailed data is still a big challenge for deep neural networks, even
though they have achieved great success on balanced data. We observe that
vanilla training on long-tailed data with cross-entropy loss makes the
instance-rich head classes severely squeeze the spatial distribution of the
tail classes, which leads to difficulty in classifying tail class samples.
Furthermore, the original cross-entropy loss can only propagate gradient
short-lively because the gradient in softmax form rapidly approaches zero as
the logit difference increases. This phenomenon is called softmax saturation.
It is unfavorable for training on balanced data, but can be utilized to adjust
the validity of the samples in long-tailed data, thereby solving the distorted
embedding space of long-tailed problems. To this end, this paper proposes the
Gaussian clouded logit adjustment by Gaussian perturbation of different class
logits with varied amplitude. We define the amplitude of perturbation as cloud
size and set relatively large cloud sizes to tail classes. The large cloud size
can reduce the softmax saturation and thereby making tail class samples more
active as well as enlarging the embedding space. To alleviate the bias in a
classifier, we therefore propose the class-based effective number sampling
strategy with classifier re-training. Extensive experiments on benchmark
datasets validate the superior performance of the proposed method. Source code
is available at https://github.com/Keke921/GCLLoss.
- Abstract（参考訳）: 長い尾を持つデータは、バランスの取れたデータで大きな成功を収めたにもかかわらず、ディープニューラルネットワークにとって依然として大きな課題である。
その結果,長い尾を持つデータに対するバニラトレーニングでは,インスタンスに富んだ頭部クラスが尾クラスの空間分布を厳しく制限し,尾クラスの分類が困難になることがわかった。
さらに、元のクロスエントロピー損失は、ロジット差が増加するにつれてソフトマックスフォームの勾配が急速にゼロに近づくため、勾配を短命にしか伝播できない。
この現象はソフトマックス飽和と呼ばれる。
バランスのとれたデータのトレーニングには不向きであるが、ロングテールデータにおけるサンプルの有効性を調整できるため、ロングテール問題の歪んだ埋め込み空間を解決できる。
そこで本研究では,様々な振幅の異なるクラスロジットのガウス摂動によるガウス雲状ロジット調整を提案する。
我々は摂動の振幅をクラウドサイズと定義し、比較的大きなクラウドサイズをテールクラスに設定する。
雲の大きさが大きいとソフトマックスの飽和が減少し、テールクラスのサンプルがより活発になり、埋め込みスペースが拡大する。
そこで,分類器のバイアスを軽減するために,分類器の再学習を伴うクラスベース有効数サンプリング戦略を提案する。
ベンチマークデータセットに関する広範な実験は、提案手法の優れた性能を検証する。
ソースコードはhttps://github.com/Keke921/GCLLossで入手できる。
関連論文リスト
- A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-13T04:16:40Z) - More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory [12.689249854199982]
RF劣化試験のリスクは特徴数とサンプル数の両方で単調に低下することを示した。
次に、パワーロー固有構造を特徴とするタスクの大規模なクラスにおいて、ほぼゼロに近いトレーニング損失に対するトレーニングが義務付けられていることを示す。
論文 参考訳（メタデータ） (2023-11-24T18:27:41Z) - KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳（メタデータ） (2023-10-16T06:19:29Z) - Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition [37.62659619941791]
特徴レベルの観点から、長い尾の視覚認識の問題について検討する。
2つの新しいロジット調整法が提案され,計算オーバーヘッドの緩やかなモデル性能が向上した。
ベンチマークデータセットを用いて行った実験は,提案手法の最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-18T02:06:06Z) - Bayes-optimal Learning of Deep Random Networks of Extensive-width [22.640648403570957]
ランダムなガウス重みを持つディープで広範で非線形なニューラルネットワークに対応する対象関数を学習する問題を考察する。
我々は、リッジ回帰、カーネル、ランダム特徴回帰のテストエラーに対するクローズドフォーム式を計算した。
数値的に、サンプルの数が次元よりも早く増加すると、リッジ法とカーネル法は最適以下になるが、ニューラルネットワークは2次的に多くのサンプルからゼロに近いテスト誤差を達成する。
論文 参考訳（メタデータ） (2023-02-01T11:14:08Z) - Feature Generation for Long-tail Classification [36.186909933006675]
そこで本研究では,テールカテゴリーの分布を推定して有意義な特徴を生成する方法を示す。
また、t-SNE視覚化を用いて生成した特徴の質的分析を行い、末尾クラス分布のキャリブレーションに最も近い隣人を解析する。
論文 参考訳（メタデータ） (2021-11-10T21:34:29Z) - Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data
via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。
提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文 参考訳（メタデータ） (2021-05-29T08:39:57Z) - Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。
我々は、測定値の低減を行う降下ステップを適応的に選択する。
これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文 参考訳（メタデータ） (2020-06-02T17:52:59Z) - OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax
Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。
そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。
実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-04-20T02:41:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。