論文の概要: Q(D)O-ES: Population-based Quality (Diversity) Optimisation for Post Hoc
Ensemble Selection in AutoML
- arxiv url: http://arxiv.org/abs/2307.08364v1
- Date: Mon, 17 Jul 2023 10:02:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 13:54:55.413799
- Title: Q(D)O-ES: Population-based Quality (Diversity) Optimisation for Post Hoc
Ensemble Selection in AutoML
- Title（参考訳）: Q(D)O-ES: AutoMLにおけるポストホックアンサンブル選択のための人口ベース品質(多様性)最適化
- Authors: Lennart Purucker, Lennart Schneider, Marie Anastacio, Joeran Beel,
Bernd Bischl, Holger Hoos
- Abstract要約: 我々は,2つの新しい集団型アンサンブル選択手法,QO-ESとQDO-ESを導入し,それらをグリーディアンサンブル選択(GES)と比較した。
QO-ESは予測性能のみを最適化する一方、QDO-ESは集団内のアンサンブルの多様性も考慮し、品質の多様性の最適化のアイデアに基づいた最適化の間、優れたアンサンブルの多様なセットを維持している。
以上の結果から,ポストホックアンサンブルには多様性が有用であるだけでなく,過度に適合するリスクも増大することが示唆された。
- 参考スコア（独自算出の注目度）: 5.089078998562186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated machine learning (AutoML) systems commonly ensemble models post hoc
to improve predictive performance, typically via greedy ensemble selection
(GES). However, we believe that GES may not always be optimal, as it performs a
simple deterministic greedy search. In this work, we introduce two novel
population-based ensemble selection methods, QO-ES and QDO-ES, and compare them
to GES. While QO-ES optimises solely for predictive performance, QDO-ES also
considers the diversity of ensembles within the population, maintaining a
diverse set of well-performing ensembles during optimisation based on ideas of
quality diversity optimisation. The methods are evaluated using 71
classification datasets from the AutoML benchmark, demonstrating that QO-ES and
QDO-ES often outrank GES, albeit only statistically significant on validation
data. Our results further suggest that diversity can be beneficial for post hoc
ensembling but also increases the risk of overfitting.
- Abstract（参考訳）: 自動機械学習(automl)システムは、予測性能を改善するためにhocを後付けするモデルが一般的である。
しかし、GESは単純な決定論的欲求探索を行うため、常に最適であるとは限らない。
本研究では,2つの新しい集団型アンサンブル選択手法であるQO-ESとQDO-ESを紹介し,それらをGESと比較する。
qo-es は予測性能のみを最適化するが、qdo-es は集団内のアンサンブルの多様性も考慮し、品質の多様性の最適化のアイデアに基づいた最適化の間、様々な優れたアンサンブルを維持している。
これらの手法はAutoMLベンチマークから71の分類データセットを用いて評価され、QO-ESとQDO-ESがGESを上回っていることが示されている。
以上の結果より,ポスト・ホック・センスムリングにおいては多様性は有益であるが,過剰フィッティングのリスクも増大することが示唆された。
関連論文リスト
- Improving Bias Correction Standards by Quantifying its Effects on Treatment Outcomes [54.18828236350544]
Propensity score matching (PSM) は、分析のために同等の人口を選択することで選択バイアスに対処する。
異なるマッチング手法は、すべての検証基準を満たす場合でも、同じタスクに対する平均処理効果(ATE)を著しく異なるものにすることができる。
この問題に対処するため,新しい指標A2Aを導入し,有効試合数を削減した。
論文 参考訳（メタデータ） (2024-07-20T12:42:24Z) - Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。
本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。
提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
論文 参考訳（メタデータ） (2024-06-27T02:46:30Z) - Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳（メタデータ） (2024-06-04T20:33:22Z) - Fast Genetic Algorithm for feature selection -- A qualitative approximation approach [5.279268784803583]
本稿では,遺伝的アルゴリズム(GA)を特徴選択に用いることによって生じる計算問題に対処するための,2段階の代理支援進化的アプローチを提案する。
我々はCHCQXがより高速に収束し、特に100K以上のインスタンスを持つ大規模データセットにおいて、非常に高い精度でサブセットソリューションを特徴付けることを示した。
論文 参考訳（メタデータ） (2024-04-05T10:15:24Z) - Class-attribute Priors: Adapting Optimization to Heterogeneity and
Fairness Objective [54.33066660817495]
現代の分類問題は、個々のクラスにまたがって不均一性を示す。
本稿では,クラス固有の学習戦略を効果的かつ汎用的に生成するCAPを提案する。
CAPは先行技術と競合しており、その柔軟性により、バランスの取れた精度以上の公平性目標に対する明確なメリットが期待できる。
論文 参考訳（メタデータ） (2024-01-25T17:43:39Z) - CMA-ES for Post Hoc Ensembling in AutoML: A Great Success and
Salvageable Failure [0.0]
Auto-Sklearn 1は、ポストホックアンサンブルの低品質検証データのみを使用する。
我々は、AutoGluonのAutoMLベンチマークから71の分類データセットについて、CMA-ES(最先端の勾配のない数値最適化)とGESを比較した。
計量平衡精度では、CMA-ESは過度に適合せず、GESを著しく上回る。
論文 参考訳（メタデータ） (2023-07-01T09:47:59Z) - DivBO: Diversity-aware CASH for Ensemble Learning [26.18421492435029]
本稿では,多様性の明示的な探索をCASH問題に注入するダイバーシティ対応フレームワークであるDivBOを提案する。
本フレームワークでは,2つの未知の構成のペアワイドな多様性を予測するために,ダイバーシティサロゲート(ダイバーシティサロゲート)を提案する。
そこで,DivBOは10種類の比較手法の検証とテスト誤差の両面で,平均ランク(1.82と1.73)を達成していることを示す。
論文 参考訳（メタデータ） (2023-02-07T04:53:21Z) - Feature Selection for Classification with QAOA [11.516147824168732]
特徴選択は機械学習において非常に重要であり、分類、ランク付け、予測問題の次元化に使用できる。
我々は特に、すでに最適化に使われている近似量子最適化(QAOA)に対処できる二次的特徴選択問題を考える。
実験では,次元が21まで異なる7つの実世界のデータセットについて検討し,量子シミュレータと小型データセットの両方でQAOAを実行する。
論文 参考訳（メタデータ） (2022-11-05T09:28:53Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Automatic selection of basis-adaptive sparse polynomial chaos expansions
for engineering applications [0.0]
スパースカオス展開のための3つの最新技術に基づく基礎適応的アプローチについて述べる。
我々は,大規模な計算モデルに対して,大域的近似精度の観点から広範なベンチマークを行う。
クロスバリデーションエラーによって導かれる新しい解法と基底適応性選択スキームを導入する。
論文 参考訳（メタデータ） (2020-09-10T12:13:57Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳（メタデータ） (2020-05-28T08:26:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。