論文の概要: BOASF: A Unified Framework for Speeding up Automatic Machine Learning via Adaptive Successive Filtering

• arxiv url: http://arxiv.org/abs/2507.20446v1
• Date: Mon, 28 Jul 2025 00:30:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:57.685889
• Title: BOASF: A Unified Framework for Speeding up Automatic Machine Learning via Adaptive Successive Filtering
• Title（参考訳）: BOASF: 適応的逐次フィルタリングによる自動機械学習の高速化のための統一フレームワーク
• Authors: Guanghui Zhu, Xin Fang, Lei Wang, Wenzhong Chen, Rong Gu, Chunfeng Yuan, Yihua Huang,
• Abstract要約: 本稿では,マルチアーム・バンディット・フレームワークを用いたベイズ最適化と適応逐次フィルタリングアルゴリズム(BOASF)を提案する。 BOASFは複数の評価ラウンドで構成されており、各アームに対して有望な構成を選択する。 ソフトマックスモデルは、次のラウンドに進む有望な各腕に利用可能なリソースを適応的に割り当てるために使用される。
• 参考スコア（独自算出の注目度）: 19.819898431049342
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine learning has been making great success in many application areas. However, for the non-expert practitioners, it is always very challenging to address a machine learning task successfully and efficiently. Finding the optimal machine learning model or the hyperparameter combination set from a large number of possible alternatives usually requires considerable expert knowledge and experience. To tackle this problem, we propose a combined Bayesian Optimization and Adaptive Successive Filtering algorithm (BOASF) under a unified multi-armed bandit framework to automate the model selection or the hyperparameter optimization. Specifically, BOASF consists of multiple evaluation rounds in each of which we select promising configurations for each arm using the Bayesian optimization. Then, ASF can early discard the poor-performed arms adaptively using a Gaussian UCB-based probabilistic model. Furthermore, a Softmax model is employed to adaptively allocate available resources for each promising arm that advances to the next round. The arm with a higher probability of advancing will be allocated more resources. Experimental results show that BOASF is effective for speeding up the model selection and hyperparameter optimization processes while achieving robust and better prediction performance than the existing state-of-the-art automatic machine learning methods. Moreover, BOASF achieves better anytime performance under various time budgets.
• Abstract（参考訳）: 機械学習は多くのアプリケーション分野で大きな成功を収めています。 しかし、専門家でない実践者にとって、機械学習のタスクを効果的かつ効率的に解決することは、常に非常に難しい。 可能な限り多くの選択肢から設定された最適な機械学習モデルやハイパーパラメータの組み合わせを見つけるには、通常はかなりの専門知識と経験が必要である。 この問題に対処するため,モデル選択やハイパーパラメータ最適化を自動化するために,統一されたマルチアーム・バンディット・フレームワークの下でベイズ最適化と適応逐次フィルタ(BOASF)の組み合わせを提案する。 具体的には、BOASFは複数の評価ラウンドで構成され、ベイズ最適化を用いて各アームに対して有望な構成を選択する。 次に、ASFはガウス的 UCB に基づく確率モデルを用いて、不整合腕を適応的に破棄することができる。 さらに、Softmaxモデルを使用して、次のラウンドに進む有望な各アームに利用可能なリソースを適応的に割り当てる。 前進する確率の高いアームは、より多くのリソースを割り当てる。 実験結果から,BOASFはモデル選択とハイパーパラメータ最適化プロセスの高速化に有効であり,既存の最先端自動機械学習手法よりも堅牢で優れた予測性能を実現していることがわかった。 さらにBOASFは、様々な時間予算の下で、より優れたパフォーマンスを達成する。

関連論文リスト

• "FRAME: Forward Recursive Adaptive Model Extraction-A Technique for Advance Feature Selection" [0.0]
  本研究では,新しいハイブリッド手法であるフォワード再帰適応モデル抽出手法(FRAME)を提案する。 FRAMEは、フォワード選択と再帰的特徴除去を組み合わせて、さまざまなデータセットにおける機能選択を強化する。 その結果、FRAMEは下流の機械学習評価指標に基づいて、常に優れた予測性能を提供することが示された。
  論文  参考訳（メタデータ） (2025-01-21T08:34:10Z)
• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Landscape-Aware Automated Algorithm Configuration using Multi-output Mixed Regression and Classification [0.01649298969786889]
  モデル学習におけるランダム生成関数(RGF)の可能性について検討する。 自動アルゴリズム構成(AAC)に焦点を当てる。 混合回帰および分類タスクの処理における高密度ニューラルネットワーク(NN)モデルの性能解析を行う。
  論文  参考訳（メタデータ） (2024-09-02T20:04:41Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Adaptive Local Bayesian Optimization Over Multiple Discrete Variables [9.860437640748113]
  本稿では,チームKAIST OSIのアプローチをステップワイズで記述し,ベースラインアルゴリズムを最大20.39%向上させる。 同様の方法では,ベイジアンとマルチアームドバンディット(mab)の手法を組み合わせ,変数型を考慮した値選択を行う。 経験的評価により,提案手法は既存の手法を異なるタスクにまたがる性能を示す。
  論文  参考訳（メタデータ） (2020-12-07T07:51:23Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。