論文の概要: Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View
- arxiv url: http://arxiv.org/abs/2011.07729v1
- Date: Mon, 16 Nov 2020 05:17:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 23:58:07.667485
- Title: Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View
- Title(参考訳): マルチクラス分類への理論的視点:高次元漸近的視点
- Authors: Christos Thrampoulidis, Samet Oymak, Mahdi Soltanolkotabi
- Abstract要約: 線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
- 参考スコア(独自算出の注目度): 82.80085730891126
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Contemporary machine learning applications often involve classification tasks
with many classes. Despite their extensive use, a precise understanding of the
statistical properties and behavior of classification algorithms is still
missing, especially in modern regimes where the number of classes is rather
large. In this paper, we take a step in this direction by providing the first
asymptotically precise analysis of linear multiclass classification. Our
theoretical analysis allows us to precisely characterize how the test error
varies over different training algorithms, data distributions, problem
dimensions as well as number of classes, inter/intra class correlations and
class priors. Specifically, our analysis reveals that the classification
accuracy is highly distribution-dependent with different algorithms achieving
optimal performance for different data distributions and/or training/features
sizes. Unlike linear regression/binary classification, the test error in
multiclass classification relies on intricate functions of the trained model
(e.g., correlation between some of the trained weights) whose asymptotic
behavior is difficult to characterize. This challenge is already present in
simple classifiers, such as those minimizing a square loss. Our novel
theoretical techniques allow us to overcome some of these challenges. The
insights gained may pave the way for a precise understanding of other
classification algorithms beyond those studied in this paper.
- Abstract(参考訳): 現代の機械学習アプリケーションは、多くのクラスで分類タスクを伴います。
その広範な使用にもかかわらず、分類アルゴリズムの統計特性と振る舞いの正確な理解はいまだに欠けており、特にクラス数がかなり大きい現代の制度ではなお欠落している。
本稿では,線形多クラス分類の最初の漸近的精度解析を提供することにより,この方向への一歩を踏み出す。
理論的解析により,異なる学習アルゴリズム,データ分布,問題次元,クラス数,クラス間の相関,クラス先行など,テストエラーがどのように変化するのかを正確に把握することができる。
具体的には,異なるデータ分布および/またはトレーニング/特徴サイズに対して最適な性能を達成するアルゴリズムによって,分類精度が分布依存性が高いことを明らかにする。
線形回帰/二項分類とは異なり、多クラス分類におけるテスト誤差は、漸近的な振る舞いを特徴付けるのが難しい訓練されたモデルの複雑な機能(例えば、訓練された重みの間の相関)に依存する。
この課題は、平方損失を最小化するような単純な分類器にはすでに存在する。
我々の新しい理論技術は、これらの課題のいくつかを克服することができる。
得られた知見は、本論文で研究されている他の分類アルゴリズムの正確な理解の道を開く可能性がある。
関連論文リスト
- Generalization Bounds for Few-Shot Transfer Learning with Pretrained
Classifiers [26.844410679685424]
本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。
クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
論文 参考訳(メタデータ) (2022-12-23T18:46:05Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳(メタデータ) (2022-11-21T18:47:11Z) - Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。
表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
論文 参考訳(メタデータ) (2022-06-16T11:44:11Z) - Multi-class Classification with Fuzzy-feature Observations: Theory and
Algorithms [36.810603503167755]
我々は,MCIMO(Multi-class classification with Imprecise Observation)と呼ばれる新しい現実的問題に対処する新しい枠組みを提案する。
まず,ファジィラデマッハの複雑性に基づくMCIMO問題の理論的解析を行う。
そこで,提案した課題を解決するために,サポートベクタマシンとニューラルネットワークに基づく2つの実用的なアルゴリズムを構築した。
論文 参考訳(メタデータ) (2022-06-09T07:14:00Z) - Determination of class-specific variables in nonparametric
multiple-class classification [0.0]
確率に基づく非パラメトリックな多重クラス分類法を提案し、それを個々のクラスに対して高い影響変数を識別する能力と統合する。
提案手法の特性を報告し, 合成データと実データの両方を用いて, 異なる分類条件下での特性を説明する。
論文 参考訳(メタデータ) (2022-05-07T10:08:58Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - Statistical Theory for Imbalanced Binary Classification [8.93993657323783]
最適分類性能は、これまで形式化されていなかったクラス不均衡の特定の性質に依存することを示す。
具体的には、一様クラス不均衡と呼ばれる新しいクラス不均衡のサブタイプを提案する。
これらの結果は、不均衡二項分類に対する最初の有意義な有限サンプル統計理論のいくつかを提供する。
論文 参考訳(メタデータ) (2021-07-05T03:55:43Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Saliency-based Weighted Multi-label Linear Discriminant Analysis [101.12909759844946]
複数ラベルの分類課題を解決するために,LDA(Linear Discriminant Analysis)の新たな変種を提案する。
提案手法は,個々の試料の重量を定義する確率モデルに基づく。
サリエンシに基づく重み付きマルチラベル LDA アプローチは,様々なマルチラベル分類問題の性能改善につながることが示されている。
論文 参考訳(メタデータ) (2020-04-08T19:40:53Z) - Probabilistic Diagnostic Tests for Degradation Problems in Supervised
Learning [0.0]
分類アルゴリズムにおけるクラス不均衡、重なり合い、小さな分散、ノイズラベル、スパース限界精度などの問題。
各問題の兆候と症状の同定に基づく確率診断モデルを示す。
いくつかの教師付きアルゴリズムの動作と性能は、トレーニングセットにそのような問題がある場合に研究される。
論文 参考訳(メタデータ) (2020-04-06T20:32:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。