論文の概要: Revisiting Discriminative vs. Generative Classifiers: Theory and Implications

• arxiv url: http://arxiv.org/abs/2302.02334v1
• Date: Sun, 5 Feb 2023 08:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 18:55:12.003900
• Title: Revisiting Discriminative vs. Generative Classifiers: Theory and Implications
• Title（参考訳）: 識別と生成的分類の再考:理論と含意
• Authors: Chenyu Zheng, Guoqiang Wu, Fan Bao, Yue Cao, Chongxuan Li, Jun Zhu
• Abstract要約: 本論文はベイズの統計的効率に着想を得たものである。 マルチクラス$mathcalH$-consistency bound frameworkと明示的なロジスティック損失境界を示す。 様々な事前訓練されたディープビジョンモデルの実験は、データの数が増加するにつれて、ナイーブベイズは常に速く収束することを示している。
• 参考スコア（独自算出の注目度）: 37.98169487351508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A large-scale deep model pre-trained on massive labeled or unlabeled data transfers well to downstream tasks. Linear evaluation freezes parameters in the pre-trained model and trains a linear classifier separately, which is efficient and attractive for transfer. However, little work has investigated the classifier in linear evaluation except for the default logistic regression. Inspired by the statistical efficiency of naive Bayes, the paper revisits the classical topic on discriminative vs. generative classifiers. Theoretically, the paper considers the surrogate loss instead of the zero-one loss in analyses and generalizes the classical results from binary cases to multiclass ones. We show that, under mild assumptions, multiclass naive Bayes requires $O(\log n)$ samples to approach its asymptotic error while the corresponding multiclass logistic regression requires $O(n)$ samples, where $n$ is the feature dimension. To establish it, we present a multiclass $\mathcal{H}$-consistency bound framework and an explicit bound for logistic loss, which are of independent interests. Simulation results on a mixture of Gaussian validate our theoretical findings. Experiments on various pre-trained deep vision models show that naive Bayes consistently converges faster as the number of data increases. Besides, naive Bayes shows promise in few-shot cases and we observe the ``two regimes'' phenomenon in pre-trained supervised models. Our code is available at https://github.com/ML-GSAI/Revisiting-Dis-vs-Gen-Classifiers.
• Abstract（参考訳）: 大規模ラベル付きまたはラベルなしのデータ転送で事前訓練された大規模なディープモデルは、下流のタスクによく適合する。 線形評価は事前訓練されたモデルのパラメータを凍結し、線形分類器を個別に訓練する。 しかし, 既定ロジスティック回帰を除いて, 線形評価における分類器の研究はほとんど行われていない。 ナイーブベイズの統計的効率に触発された本論文は、差別的対生成的分類器に関する古典的トピックを再考する。 理論的には、分析におけるゼロワン損失の代わりに代理損失を考慮し、バイナリケースからマルチクラスケースへの古典的な結果を一般化する。 穏やかな仮定の下では、マルチクラスのネーブベイズはその漸近誤差にアプローチするために$O(\log n)$サンプルを必要とする一方で、対応するマルチクラスのロジスティック回帰には$O(n)$サンプルが必要である。 それを確立するために、マルチクラス $\mathcal{H}$-consistency bound framework と、独立した関心を持つロジスティック損失の明示的な境界を示す。 ガウシアン混合物のシミュレーション結果は,我々の理論的知見を裏付けるものである。 様々な事前訓練されたディープビジョンモデルの実験は、データの数が増加するにつれて、ナイーブベイズは常に速く収束することを示している。 さらに, ベイズが示唆する「2つのレジーム」現象を, 事前学習した教師付きモデルで観察する。 私たちのコードはhttps://github.com/ML-GSAI/Revisiting-Dis-vs-Gen-Classifiersで利用可能です。

関連論文リスト

• Universality in Transfer Learning for Linear Models [18.427215139020625]
  回帰モデルと二分分類モデルの両方を対象とした線形モデルにおける伝達学習の問題点について検討する。 我々は、厳密かつ厳密な分析を行い、事前訓練されたモデルと微調整されたモデルに対する一般化誤差(回帰)と分類誤差(二分分類)を関連付ける。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Regularized Linear Regression for Binary Classification [20.710343135282116]
  正規化線形回帰は、トレーニングセットがノイズラベルを持つ二項分類問題に対して有望なアプローチである。 十分な正則化強度に対して、最適重みは反対符号の2つの値の周りに集中していることを示す。 多くの場合、各重みの1ビットに対する「圧縮」が性能の損失を極めて少なくする。
  論文  参考訳（メタデータ） (2023-11-03T23:18:21Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
  我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。 例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。 SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-10-26T21:03:46Z)
• CARD: Classification and Regression Diffusion Models [51.0421331214229]
  本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。 おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
  論文  参考訳（メタデータ） (2022-06-15T03:30:38Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Estimating Stochastic Linear Combination of Non-linear Regressions Efficiently and Scalably [23.372021234032363]
  サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。 私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
  論文  参考訳（メタデータ） (2020-10-19T07:15:38Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Large scale analysis of generalization error in learning using margin based classification methods [2.436681150766912]
  サンプルサイズ$n$と次元$p$の両方の極限で、大マルジン分類器の族を一般化誤差とする式を導出する。 2層ニューラルネットワークでは、最近開発された2重降下現象をいくつかの分類モデルで再現する。
  論文  参考訳（メタデータ） (2020-07-16T20:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。