論文の概要: Curvature-Balanced Feature Manifold Learning for Long-Tailed
Classification
- arxiv url: http://arxiv.org/abs/2303.12307v2
- Date: Thu, 18 Jan 2024 14:15:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 20:56:26.676480
- Title: Curvature-Balanced Feature Manifold Learning for Long-Tailed
Classification
- Title(参考訳): 長尾分類のための曲率バランス特徴多様体学習
- Authors: Yanbiao Ma, Licheng Jiao, Fang Liu, Shuyuan Yang, Xu Liu and Lingling
Li
- Abstract要約: 尾のクラスは必ずしも学習が難しいわけではなく、サンプルバランスのデータセットでモデルバイアスが観測されていることを示す。
本稿では, 曲率バランスと平らな知覚多様体の学習を容易にするため, 曲率正規化を提案する。
我々の研究は、モデルバイアスに関する幾何学的分析の視点を開き、非長い尾とサンプルバランスのデータセットのモデルバイアスに注意を払うよう研究者に促す。
- 参考スコア(独自算出の注目度): 52.021899899683675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To address the challenges of long-tailed classification, researchers have
proposed several approaches to reduce model bias, most of which assume that
classes with few samples are weak classes. However, recent studies have shown
that tail classes are not always hard to learn, and model bias has been
observed on sample-balanced datasets, suggesting the existence of other factors
that affect model bias. In this work, we systematically propose a series of
geometric measurements for perceptual manifolds in deep neural networks, and
then explore the effect of the geometric characteristics of perceptual
manifolds on classification difficulty and how learning shapes the geometric
characteristics of perceptual manifolds. An unanticipated finding is that the
correlation between the class accuracy and the separation degree of perceptual
manifolds gradually decreases during training, while the negative correlation
with the curvature gradually increases, implying that curvature imbalance leads
to model bias. Therefore, we propose curvature regularization to facilitate the
model to learn curvature-balanced and flatter perceptual manifolds. Evaluations
on multiple long-tailed and non-long-tailed datasets show the excellent
performance and exciting generality of our approach, especially in achieving
significant performance improvements based on current state-of-the-art
techniques. Our work opens up a geometric analysis perspective on model bias
and reminds researchers to pay attention to model bias on non-long-tailed and
even sample-balanced datasets. The code and model will be made public.
- Abstract(参考訳): 長い尾の分類の課題に対処するために、研究者はモデルバイアスを減らすいくつかのアプローチを提案しており、そのほとんどはサンプルが少ないクラスが弱いクラスであると仮定している。
しかし、最近の研究では、テールクラスは必ずしも学習が困難ではないことが示されており、サンプルバランスデータセットではモデルバイアスが観察されており、モデルバイアスに影響を与える他の要因の存在が示唆されている。
本研究では,深層ニューラルネットワークにおける知覚多様体の幾何的測定を体系的に提案し,また,知覚多様体の幾何学的特性が分類難易度および学習形態の知覚多様体の幾何学的特性に与える影響について検討する。
予期せぬ発見は、授業中はクラス精度と知覚多様体の分離度との相関が徐々に減少し、一方曲率との負の相関は徐々に増大し、曲率の不均衡がモデルバイアスにつながることを示唆している。
そこで本研究では, 曲率バランスと平らな知覚多様体の学習を容易にするために, 曲率正規化を提案する。
複数の長い尾のデータセットと非長い尾のデータセットの評価は、我々のアプローチの優れたパフォーマンスとエキサイティングな一般性を示している。
我々の研究は、モデルバイアスに関する幾何学的分析の視点を開き、非長い尾とサンプルバランスのデータセットのモデルバイアスに注意を払うよう研究者に促す。
コードとモデルは公開される予定だ。
関連論文リスト
- Geometric Prior Guided Feature Representation Learning for Long-Tailed
Classification [49.90107582624604]
そこで,本論文では,よく表現されたヘッドクラスの特徴分布の幾何学的情報を活用し,モデルにテールクラスの基盤となる分布を学習させる手法を提案する。
パータード機能は、可能な限りテールクラスの基盤となる分布をカバーし、テスト領域におけるモデルの一般化性能を向上させることを目的としている。
論文 参考訳(メタデータ) (2024-01-21T09:16:29Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Orthogonal Uncertainty Representation of Data Manifold for Robust
Long-Tailed Learning [52.021899899683675]
長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。
モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2023-10-16T05:50:34Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳(メタデータ) (2023-06-03T20:12:27Z) - Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition [41.38745794825594]
特徴量の観点から、長い尾の視覚認識の問題について検討する。
2つの新しいロジット調整法が提案され,計算オーバーヘッドの少ないモデル性能が向上した。
論文 参考訳(メタデータ) (2023-05-18T02:06:06Z) - Delving into Semantic Scale Imbalance [45.30062061215943]
クラスの特徴的多様性を測定するために使用されるクラスの意味的スケールを定義し,定量化する。
本稿では、一般的な損失改善スキームと動的再重み付けトレーニングフレームワークを含む意味尺度バランス学習を提案する。
総合的な実験により、動的セマンティック・スケール・バランス・ラーニングにより、大規模で長い尾を持つ非長い尾を持つ自然および医学的なデータセットにおいて、モデルが優れたパフォーマンスを発揮することが示されている。
論文 参考訳(メタデータ) (2022-12-30T09:40:09Z) - Gradient flow in the gaussian covariate model: exact solution of
learning curves and multiple descent structures [14.578025146641806]
一般化曲線の全時間進化を完全かつ統一的に解析する。
この理論予測は,現実的なデータセットよりも勾配降下によって得られる学習曲線と適切に一致していることを示す。
論文 参考訳(メタデータ) (2022-12-13T17:39:18Z) - Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。
従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。
ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。
提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
論文 参考訳(メタデータ) (2022-08-04T10:22:24Z) - Bias-inducing geometries: an exactly solvable data model with fairness
implications [13.690313475721094]
我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。
この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。
フェアネス評価によく用いられる観測対象の正確な予測値を得る。
論文 参考訳(メタデータ) (2022-05-31T16:27:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。