論文の概要: DivBO: Diversity-aware CASH for Ensemble Learning

• arxiv url: http://arxiv.org/abs/2302.03255v1
• Date: Tue, 7 Feb 2023 04:53:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 17:27:46.989544
• Title: DivBO: Diversity-aware CASH for Ensemble Learning
• Title（参考訳）: Divbo: 多様性を意識した学習用CASH
• Authors: Yu Shen, Yupeng Lu, Yang Li, Yaofeng Tu, Wentao Zhang, Bin Cui
• Abstract要約: 本稿では,多様性の明示的な探索をCASH問題に注入するダイバーシティ対応フレームワークであるDivBOを提案する。 本フレームワークでは,2つの未知の構成のペアワイドな多様性を予測するために,ダイバーシティサロゲート(ダイバーシティサロゲート)を提案する。 そこで,DivBOは10種類の比較手法の検証とテスト誤差の両面で,平均ランク(1.82と1.73)を達成していることを示す。
• 参考スコア（独自算出の注目度）: 26.18421492435029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Combined Algorithm Selection and Hyperparameters optimization (CASH) problem is one of the fundamental problems in Automated Machine Learning (AutoML). Motivated by the success of ensemble learning, recent AutoML systems build post-hoc ensembles to output the final predictions instead of using the best single learner. However, while most CASH methods focus on searching for a single learner with the best performance, they neglect the diversity among base learners (i.e., they may suggest similar configurations to previously evaluated ones), which is also a crucial consideration when building an ensemble. To tackle this issue and further enhance the ensemble performance, we propose DivBO, a diversity-aware framework to inject explicit search of diversity into the CASH problems. In the framework, we propose to use a diversity surrogate to predict the pair-wise diversity of two unseen configurations. Furthermore, we introduce a temporary pool and a weighted acquisition function to guide the search of both performance and diversity based on Bayesian optimization. Empirical results on 15 public datasets show that DivBO achieves the best average ranks (1.82 and 1.73) on both validation and test errors among 10 compared methods, including post-hoc designs in recent AutoML systems and state-of-the-art baselines for ensemble learning on CASH problems.
• Abstract（参考訳）: アルゴリズム選択とハイパーパラメータ最適化(CASH)は、自動機械学習(AutoML)の基本的な問題の一つである。 アンサンブル学習の成功に動機づけられた最近のautomlシステムは、最高のシングルラーナーを使うのではなく、最終予測を出力するポストホックアンサンブルを構築した。 しかし,ほとんどのCASH手法は,単一学習者に対して最高の性能で検索することに重点を置いているが,基本学習者間での多様性(例えば,以前に評価されたものと類似した構成を提案する場合もある)は無視されている。 この問題に対処し,さらにアンサンブル性能を向上させるために,多様性を明示的に探索する多様性対応フレームワークであるDivBOを提案する。 本稿では,2つの未知の構成のペアワイドな多様性を予測するために,多様性サロゲートを提案する。 さらに,ベイズ最適化に基づく性能と多様性の探索を支援するために,一時プールと重み付き獲得関数を導入する。 15の公開データセットの実証結果は、最近のAutoMLシステムにおけるポストホック設計やCASH問題のアンサンブル学習のための最先端のベースラインを含む、10つの比較手法の検証とテストエラーの両方において、DivBOが最高の平均ランク(1.82と1.73)を達成したことを示している。

関連論文リスト

• POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
  主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。 このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
  論文  参考訳（メタデータ） (2024-07-20T16:37:21Z)
• UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
  マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。 重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。 学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-01T09:34:42Z)
• Zero-shot Task Preference Addressing Enabled by Imprecise Bayesian Continual Learning [19.11678487931003]
  本稿では,タスクパフォーマンストレードオフの優先事項に対処するため,IBCL(Imrecise Bayesian Continual Learning)を提案する。 IBCLは、知識ベースから好み順応モデルを構築するために、追加のトレーニングオーバーヘッドを必要としない。 IBCLで得られたモデルには、好むパラメータを識別する保証があることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T06:39:00Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• Developing parsimonious ensembles using predictor diversity within a reinforcement learning framework [4.204145943086225]
  強化学習(RL)ベースのアンサンブル選択フレームワークにアンサンブル多様性を組み込んだアルゴリズムをいくつか紹介します。 これらのアルゴリズムは、最終的に効果的なアンサンブルに同化予測モデルの解釈またはリバースエンジニアリングを支援することができる。
  論文  参考訳（メタデータ） (2021-02-15T05:00:19Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Bayesian Meta-Prior Learning Using Empirical Bayes [3.666114237131823]
  本稿では,情報的事前の欠如とパラメータ学習率の制御能力に対処する階層的経験ベイズ手法を提案する。 本手法は,データ自体から経験的メタプライヤを学習し,その学習率を1次および2次の特徴の分離に利用する。 スパースデータの最適化は、しばしば課題となるため、私たちの発見は有望です。
  論文  参考訳（メタデータ） (2020-02-04T05:08:17Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。