論文の概要: Bagging Improves Generalization Exponentially

• arxiv url: http://arxiv.org/abs/2405.14741v2
• Date: Wed, 29 May 2024 05:27:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 11:43:58.590461
• Title: Bagging Improves Generalization Exponentially
• Title（参考訳）: Baggingは、指数関数的に一般化を改善する
• Authors: Huajie Qian, Donghao Ying, Henry Lam, Wotao Yin,
• Abstract要約: Baggingは、機械学習モデルの精度を改善するための一般的なアンサンブルテクニックである。 本研究は,本質的な速度低下に苦しむ重み付きデータを含む多種多様な事例において,バッグングがパフォーマンスを著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 27.941595142117443
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Bagging is a popular ensemble technique to improve the accuracy of machine learning models. It hinges on the well-established rationale that, by repeatedly retraining on resampled data, the aggregated model exhibits lower variance and hence higher stability, especially for discontinuous base learners. In this paper, we provide a new perspective on bagging: By suitably aggregating the base learners at the parametrization instead of the output level, bagging improves generalization performances exponentially, a strength that is significantly more powerful than variance reduction. More precisely, we show that for general stochastic optimization problems that suffer from slowly (i.e., polynomially) decaying generalization errors, bagging can effectively reduce these errors to an exponential decay. Moreover, this power of bagging is agnostic to the solution schemes, including common empirical risk minimization, distributionally robust optimization, and various regularizations. We demonstrate how bagging can substantially improve generalization performances in a range of examples involving heavy-tailed data that suffer from intrinsically slow rates.
• Abstract（参考訳）: Baggingは、機械学習モデルの精度を改善するための一般的なアンサンブルテクニックである。 これは、再サンプリングされたデータに基づいて繰り返し再訓練することで、集約されたモデルはより分散度が低く、安定性が高く、特に不連続な基礎学習者に対して高い安定性を示すという、確立された理論的根拠に基づいている。 出力レベルではなくパラメトリゼーションでベース学習者を適切に集約することにより、バッグングは分散低減よりもはるかに強力な強度である一般化性能を指数関数的に向上する。 より正確には、一般化誤差の緩やかな(多項式的に)減衰に苦しむ一般確率最適化問題に対して、バッグングはこれらの誤差を指数的減衰に効果的に還元することができることを示す。 さらに、このバッグングのパワーは、一般的な経験的リスク最小化、分布的に堅牢な最適化、および様々な正規化を含む、ソリューションスキームに依存しない。 本研究は,本質的な速度低下に苦しむ重み付きデータを含む多種多様な事例において,バッグングが一般化性能を大幅に向上することを示す。

関連論文リスト

• Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
  アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。 そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
  論文  参考訳（メタデータ） (2024-08-06T03:42:38Z)
• The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations [8.844894807922902]
  現代の機械学習モデルは、素早い相関に過度に依存する傾向がある。 本稿では,最短群精度における微調整モデルの意外かつニュアンスな挙動を同定する。 以上の結果より,群強靭性を有する現代ファインチュードモデルの微妙な相互作用が以前よりも顕著に示された。
  論文  参考訳（メタデータ） (2024-07-19T00:34:03Z)
• Toward Understanding Generative Data Augmentation [16.204251285425478]
  生成データの増大は、発散項の順序が$o(maxleft( log(m)beta_m, 1 / sqrtm)right)$である場合、より高速に学習できることを示す。 いずれの場合も、生成データの増大は学習速度の速さを損なうものではないが、列車セットが小さい場合、一定のレベルで学習保証を改善することができることを証明している。
  論文  参考訳（メタデータ） (2023-05-27T13:46:08Z)
• When are ensembles really effective? [49.37269057899679]
  分類タスクにおいて,アンサンブルが顕著な性能向上をもたらす時期について検討する。 平均誤差率に対して不一致率が大きくなると,アンサンブルにより性能が大幅に向上することを示す。 アンサンブルが実現し、大きなパフォーマンス改善をもたらすことのない、実践的なシナリオを特定します。
  論文  参考訳（メタデータ） (2023-05-21T01:36:25Z)
• ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
  ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。 各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。 これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
  論文  参考訳（メタデータ） (2022-09-04T12:49:20Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。