論文の概要: CMA-ES for Post Hoc Ensembling in AutoML: A Great Success and Salvageable Failure

• arxiv url: http://arxiv.org/abs/2307.00286v1
• Date: Sat, 1 Jul 2023 09:47:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 16:52:57.311163
• Title: CMA-ES for Post Hoc Ensembling in AutoML: A Great Success and Salvageable Failure
• Title（参考訳）: AutoMLにおけるポストホック実装のためのCMA-ES - 大きな成功と救える失敗
• Authors: Lennart Purucker, Joeran Beel
• Abstract要約: Auto-Sklearn 1は、ポストホックアンサンブルの低品質検証データのみを使用する。 我々は、AutoGluonのAutoMLベンチマークから71の分類データセットについて、CMA-ES(最先端の勾配のない数値最適化)とGESを比較した。 計量平衡精度では、CMA-ESは過度に適合せず、GESを著しく上回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many state-of-the-art automated machine learning (AutoML) systems use greedy ensemble selection (GES) by Caruana et al. (2004) to ensemble models found during model selection post hoc. Thereby, boosting predictive performance and likely following Auto-Sklearn 1's insight that alternatives, like stacking or gradient-free numerical optimization, overfit. Overfitting in Auto-Sklearn 1 is much more likely than in other AutoML systems because it uses only low-quality validation data for post hoc ensembling. Therefore, we were motivated to analyze whether Auto-Sklearn 1's insight holds true for systems with higher-quality validation data. Consequently, we compared the performance of covariance matrix adaptation evolution strategy (CMA-ES), state-of-the-art gradient-free numerical optimization, to GES on the 71 classification datasets from the AutoML benchmark for AutoGluon. We found that Auto-Sklearn's insight depends on the chosen metric. For the metric ROC AUC, CMA-ES overfits drastically and is outperformed by GES -- statistically significantly for multi-class classification. For the metric balanced accuracy, CMA-ES does not overfit and outperforms GES significantly. Motivated by the successful application of CMA-ES for balanced accuracy, we explored methods to stop CMA-ES from overfitting for ROC AUC. We propose a method to normalize the weights produced by CMA-ES, inspired by GES, that avoids overfitting for CMA-ES and makes CMA-ES perform better than or similar to GES for ROC AUC.
• Abstract（参考訳）: 多くの最先端の自動機械学習(AutoML)システムは、Caruana et al. (2004)のgreedy ensemble selection (GES) を用いて、モデル選択後ホックで見つかったモデルをアンサンブルする。 これにより予測性能が向上し、Auto-Sklearn 1の洞察に従えば、スタック化や勾配なしの数値最適化といった代替案が過度に適合するということになる。 auto-sklearn 1のオーバーフィットは、post hoc ensemblingに低品質のバリデーションデータのみを使用するため、他のautomlシステムよりもずっと可能性が高い。 そこで我々は,高品質のバリデーションデータを持つシステムにおいて,auto-sklearn 1の洞察が真であるか否かを分析する動機づけられた。 その結果,オートグルーオンのautomlベンチマークから71分類データセットのgesと比較し,共分散行列適応進化戦略(cma-es)の性能について検討した。 我々はAuto-Sklearnの洞察が選択された計量に依存することを発見した。 ROC AUCでは、CMA-ESは大幅にオーバーフィットし、統計学的には多クラス分類においてGESよりも優れています。 計量平衡精度では、CMA-ESは過度に適合せず、GESを著しく上回る。 バランスの取れた精度にCMA-ESをうまく応用することで、我々はCMA-ESがROC AUCのオーバーフィットを防ぐ方法を探った。 本稿では, CMA-ES の過剰適合を回避し, ROC AUC の GES よりも CMA-ES の性能を向上する, GES にインスパイアされた CMA-ES の重量正規化手法を提案する。

関連論文リスト

• Self-DenseMobileNet: A Robust Framework for Lung Nodule Classification using Self-ONN and Stacking-based Meta-Classifier [1.2300841481611335]
  Self-DenseMobileNetは胸部X線写真(CXR)における結節と非結節の分類を強化するように設計されている 我々のフレームワークは、入力品質を最適化するために高度な画像標準化と拡張技術を統合している。 外部データセットでテストすると、このフレームワークは89.40%の精度で強力な一般化性を維持した。
  論文  参考訳（メタデータ） (2024-10-16T14:04:06Z)
• MetaFollower: Adaptable Personalized Autonomous Car Following [63.90050686330677]
  適応型パーソナライズされた自動車追従フレームワークであるMetaFollowerを提案する。 まず,モデルに依存しないメタラーニング(MAML)を用いて,様々なCFイベントから共通運転知識を抽出する。 さらに、Long Short-Term Memory (LSTM) と Intelligent Driver Model (IDM) を組み合わせて、時間的不均一性を高い解釈性で反映する。
  論文  参考訳（メタデータ） (2024-06-23T15:30:40Z)
• Ransomware detection using stacked autoencoder for feature selection [0.0]
  この研究は、オートエンコーダの学習したウェイトとアクティベーションを慎重に分析し、ランサムウェアファミリーと他のマルウェアを区別するための重要な特徴を特定します。 提案手法はランサムウェア分類において, Extreme Gradient Boosting (XGBoost) アルゴリズムを上回り, 99%の精度を達成している。
  論文  参考訳（メタデータ） (2024-02-17T17:31:48Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• Outlier-Insensitive Kalman Filtering Using NUV Priors [24.413595920205907]
  実際には、観測は外れ値によって破損し、カルマンフィルタ(KF)の性能を著しく損なう。 本研究では、各電位外乱を未知の分散確率変数(NUV)としてモデル化し、外乱に敏感なKFを提案する。 予測最大化(EM)と変動ロバスト性(AM)の両方を用いて、NUVs分散をオンラインで推定する。
  論文  参考訳（メタデータ） (2022-10-12T11:00:13Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
  強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。 このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-01-15T03:12:29Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Equipment Failure Analysis for Oil and Gas Industry with an Ensemble Predictive Model [0.0]
  提案手法は,SMOトレーニングアルゴリズムを用いることで,より優れた性能が得られることを示す。 この予測モデルの分類性能は、SMOトレーニングアルゴリズムの有無にかかわらず、SVMよりもかなり優れている。
  論文  参考訳（メタデータ） (2020-12-30T04:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。