論文の概要: Subsampled Ensemble Can Improve Generalization Tail Exponentially

• arxiv url: http://arxiv.org/abs/2405.14741v3
• Date: Thu, 03 Oct 2024 19:23:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:07:32.086782
• Title: Subsampled Ensemble Can Improve Generalization Tail Exponentially
• Title（参考訳）: サブサンプルアンサンブルは、指数関数的に一般化タイルを改善することができる
• Authors: Huajie Qian, Donghao Ying, Henry Lam, Wotao Yin,
• Abstract要約: アンサンブル学習は、機械学習モデルの精度を改善するための一般的なテクニックである。 多数決投票を通じてサブサンプルで訓練された最良のモデルを選択することで、アンサンブルに関する新たな視点を提供する。 重み付きデータや本質的なスローレートを含む様々な事例において,我々のアンサンブル手法がサンプル外性能を大幅に改善できることを示す。
• 参考スコア（独自算出の注目度）: 27.941595142117443
• License:
• Abstract: Ensemble learning is a popular technique to improve the accuracy of machine learning models. It hinges on the rationale that aggregating multiple weak models can lead to better models with lower variance and hence higher stability, especially for discontinuous base learners. In this paper, we provide a new perspective on ensembling. By selecting the best model trained on subsamples via majority voting, we can attain exponentially decaying tails for the excess risk, even if the base learner suffers from slow (i.e., polynomial) decay rates. This tail enhancement power of ensembling is agnostic to the underlying base learner and is stronger than variance reduction in the sense of exhibiting rate improvement. We demonstrate how our ensemble methods can substantially improve out-of-sample performances in a range of examples involving heavy-tailed data or intrinsically slow rates. Code for the proposed methods is available at https://github.com/mickeyhqian/VoteEnsemble.
• Abstract（参考訳）: アンサンブル学習は、機械学習モデルの精度を改善するための一般的なテクニックである。 これは、複数の弱いモデルを集約すると、より分散度が低く、安定性が向上し、特に不連続な基礎学習者にとって、より良いモデルが得られるという理論的根拠に基づいている。 本稿では,アンサンブルの新たな視点について述べる。 多数決投票によってサブサンプルで訓練された最良のモデルを選択することで、ベース学習者が遅い(多項式)崩壊率に悩まされたとしても、過剰なリスクに対して指数関数的に崩壊する尾部が得られる。 アンサンブルのテール強化力は、基礎学習者にとって非依存であり、レート改善の感覚において分散低減よりも強い。 重み付きデータや本質的なスローレートを含む様々な事例において,我々のアンサンブル手法がサンプル外性能を大幅に改善できることを示す。 提案されたメソッドのコードはhttps://github.com/mickeyhqian/VoteEnsemble.comで公開されている。

関連論文リスト

• Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
  アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。 そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
  論文  参考訳（メタデータ） (2024-08-06T03:42:38Z)
• The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations [8.844894807922902]
  現代の機械学習モデルは、素早い相関に過度に依存する傾向がある。 本稿では,最短群精度における微調整モデルの意外かつニュアンスな挙動を同定する。 以上の結果より,群強靭性を有する現代ファインチュードモデルの微妙な相互作用が以前よりも顕著に示された。
  論文  参考訳（メタデータ） (2024-07-19T00:34:03Z)
• Toward Understanding Generative Data Augmentation [16.204251285425478]
  生成データの増大は、発散項の順序が$o(maxleft( log(m)beta_m, 1 / sqrtm)right)$である場合、より高速に学習できることを示す。 いずれの場合も、生成データの増大は学習速度の速さを損なうものではないが、列車セットが小さい場合、一定のレベルで学習保証を改善することができることを証明している。
  論文  参考訳（メタデータ） (2023-05-27T13:46:08Z)
• When are ensembles really effective? [49.37269057899679]
  分類タスクにおいて,アンサンブルが顕著な性能向上をもたらす時期について検討する。 平均誤差率に対して不一致率が大きくなると,アンサンブルにより性能が大幅に向上することを示す。 アンサンブルが実現し、大きなパフォーマンス改善をもたらすことのない、実践的なシナリオを特定します。
  論文  参考訳（メタデータ） (2023-05-21T01:36:25Z)
• ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
  ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。 各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。 これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
  論文  参考訳（メタデータ） (2022-09-04T12:49:20Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。