論文の概要: How many classifiers do we need?

• arxiv url: http://arxiv.org/abs/2411.00328v1
• Date: Fri, 01 Nov 2024 02:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:44:18.091864
• Title: How many classifiers do we need?
• Title（参考訳）: 分類器はいくつ必要ですか。
• Authors: Hyunsuk Kim, Liam Hodgkinson, Ryan Theisen, Michael W. Mahoney,
• Abstract要約: 分類器間の不一致と偏極が、個々の分類器を集約することで得られる性能向上とどのように関連しているかを詳細に分析する。 分類器の個数で不一致の挙動を示す。 我々の理論と主張は、様々なタイプのニューラルネットワークを用いた画像分類タスクに関する経験的な結果によって裏付けられている。
• 参考スコア（独自算出の注目度）: 50.69951049206484
• License:
• Abstract: As performance gains through scaling data and/or model size experience diminishing returns, it is becoming increasingly popular to turn to ensembling, where the predictions of multiple models are combined to improve accuracy. In this paper, we provide a detailed analysis of how the disagreement and the polarization (a notion we introduce and define in this paper) among classifiers relate to the performance gain achieved by aggregating individual classifiers, for majority vote strategies in classification tasks. We address these questions in the following ways. (1) An upper bound for polarization is derived, and we propose what we call a neural polarization law: most interpolating neural network models are 4/3-polarized. Our empirical results not only support this conjecture but also show that polarization is nearly constant for a dataset, regardless of hyperparameters or architectures of classifiers. (2) The error of the majority vote classifier is considered under restricted entropy conditions, and we present a tight upper bound that indicates that the disagreement is linearly correlated with the target, and that the slope is linear in the polarization. (3) We prove results for the asymptotic behavior of the disagreement in terms of the number of classifiers, which we show can help in predicting the performance for a larger number of classifiers from that of a smaller number. Our theories and claims are supported by empirical results on several image classification tasks with various types of neural networks.
• Abstract（参考訳）: データスケーリングと/またはモデルサイズエクスペリエンスの低下によってパフォーマンスが向上するにつれ、複数のモデルの予測を組み合わせて精度を向上させるために、アンサンブルに切り替えることがますます一般的になっています。 本稿では、分類タスクにおける多数決戦略において、分類器間の不一致と分極(この論文で紹介し、定義する概念)が個々の分類器を集約することで達成される性能向上とどのように関連しているかを詳細に分析する。 これらの質問には以下の方法で対処する。 1) 偏極の上限が導出され, ニューラル偏極法則(Neural polarization law)と呼ばれる, ほとんどの補間ニューラルネットワークモデルは4/3偏極化される。 我々の経験的結果は、この予想を裏付けるだけでなく、超パラメータや分類器のアーキテクチャに関係なく、偏極がデータセットに対してほぼ一定であることを示している。 2) 多数決分類器の誤差は, 制限されたエントロピー条件下で考慮し, 偏差が目標と線形に相関していること, 偏差の勾配が線形であることを示す厳密な上限を示す。 (3) 分類器の数の観点から不一致の漸近的挙動を示す結果が得られ, より少ない数の分類器の性能を予測する上で有効であることを示す。 我々の理論と主張は、様々なタイプのニューラルネットワークを用いた画像分類タスクに関する経験的な結果によって裏付けられている。

関連論文リスト

• Generation is better than Modification: Combating High Class Homophily Variance in Graph Anomaly Detection [51.11833609431406]
  異なるクラス間のホモフィリー分布の差は、ホモフィリックグラフやヘテロフィリックグラフよりも著しく大きい。 我々は、この現象を定量的に記述した、クラスホモフィリーバリアンスと呼ばれる新しい計量を導入する。 その影響を軽減するために,ホモフィリーエッジ生成グラフニューラルネットワーク(HedGe)と呼ばれる新しいGNNモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T14:26:53Z)
• Precise Asymptotic Generalization for Multiclass Classification with Overparameterized Linear Models [4.093769373833101]
  Subramanian et al.'22 の予想では、データポイント、特徴、クラスの数はすべて一緒になる。 我々の新しい下限は情報理論の強い逆に似ており、それらは誤分類率が0か1に近づくことを証明している。 厳密な解析の鍵はハンソン・ライトの不等式の新しい変種であり、スパースラベルの多重クラス問題に広く有用である。
  論文  参考訳（メタデータ） (2023-06-23T00:59:15Z)
• When are ensembles really effective? [49.37269057899679]
  分類タスクにおいて,アンサンブルが顕著な性能向上をもたらす時期について検討する。 平均誤差率に対して不一致率が大きくなると,アンサンブルにより性能が大幅に向上することを示す。 アンサンブルが実現し、大きなパフォーマンス改善をもたらすことのない、実践的なシナリオを特定します。
  論文  参考訳（メタデータ） (2023-05-21T01:36:25Z)
• Soft-margin classification of object manifolds [0.0]
  単一対象の複数の出現に対応する神経集団は、神経応答空間における多様体を定義する。 そのような多様体を分類する能力は、オブジェクト認識やその他の計算タスクは多様体内の変数に無関心な応答を必要とするため、興味がある。 ソフトマージン分類器は、より大きなアルゴリズムのクラスであり、トレーニングセット外のパフォーマンスを最適化するためにアプリケーションで使われる追加の正規化パラメータを提供する。
  論文  参考訳（メタデータ） (2022-03-14T12:23:36Z)
• Adversarial Examples for $k$-Nearest Neighbor Classifiers Based on Higher-Order Voronoi Diagrams [69.4411417775822]
  逆例は機械学習モデルにおいて広く研究されている現象である。 そこで本研究では,$k$-nearest 近傍分類の逆ロバスト性を評価するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-19T08:49:10Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Large scale analysis of generalization error in learning using margin based classification methods [2.436681150766912]
  サンプルサイズ$n$と次元$p$の両方の極限で、大マルジン分類器の族を一般化誤差とする式を導出する。 2層ニューラルネットワークでは、最近開発された2重降下現象をいくつかの分類モデルで再現する。
  論文  参考訳（メタデータ） (2020-07-16T20:31:26Z)
• On Counterfactual Explanations under Predictive Multiplicity [14.37676876556672]
  対実的な説明は通常、入力に対する最小の変更を識別して、固定されたモデルによる予測を変更することによって得られる。 最近の研究は古い洞察を復活させ、一般的に使用される関心の尺度に関して予測問題に対する優れた解決策が1つ存在しないことがしばしばある。
  論文  参考訳（メタデータ） (2020-06-23T16:25:47Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。