論文の概要: Grammar-based evolutionary approach for automated workflow composition
with domain-specific operators and ensemble diversity
- arxiv url: http://arxiv.org/abs/2402.02124v1
- Date: Sat, 3 Feb 2024 11:29:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 22:05:00.210082
- Title: Grammar-based evolutionary approach for automated workflow composition
with domain-specific operators and ensemble diversity
- Title(参考訳): ドメイン固有演算子とアンサンブル多様性を用いた自動ワークフロー合成のための文法に基づく進化的アプローチ
- Authors: Rafael Barbudo and Aurora Ram\'irez and Jos\'e Ra\'ul Romero
- Abstract要約: 本稿では,自動ワークフロー合成(AWC)のための文法に基づく進化的アプローチであるEvoFlowを紹介する。
EvoFlowはワークフロー構造を設計する際の柔軟性を強化し、実践者が自身の要求に最も適したアルゴリズムを選択することを可能にする。
以上の結果から,EvoFlowの遺伝的演算子と更新機構が,現在の先行手法よりも大幅に優れていることが示唆された。
- 参考スコア(独自算出の注目度): 0.36832029288386137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The process of extracting valuable and novel insights from raw data involves
a series of complex steps. In the realm of Automated Machine Learning (AutoML),
a significant research focus is on automating aspects of this process,
specifically tasks like selecting algorithms and optimising their
hyper-parameters. A particularly challenging task in AutoML is automatic
workflow composition (AWC). AWC aims to identify the most effective sequence of
data preprocessing and ML algorithms, coupled with their best hyper-parameters,
for a specific dataset. However, existing AWC methods are limited in how many
and in what ways they can combine algorithms within a workflow.
Addressing this gap, this paper introduces EvoFlow, a grammar-based
evolutionary approach for AWC. EvoFlow enhances the flexibility in designing
workflow structures, empowering practitioners to select algorithms that best
fit their specific requirements. EvoFlow stands out by integrating two
innovative features. First, it employs a suite of genetic operators, designed
specifically for AWC, to optimise both the structure of workflows and their
hyper-parameters. Second, it implements a novel updating mechanism that
enriches the variety of predictions made by different workflows. Promoting this
diversity helps prevent the algorithm from overfitting. With this aim, EvoFlow
builds an ensemble whose workflows differ in their misclassified instances.
To evaluate EvoFlow's effectiveness, we carried out empirical validation
using a set of classification benchmarks. We begin with an ablation study to
demonstrate the enhanced performance attributable to EvoFlow's unique
components. Then, we compare EvoFlow with other AWC approaches, encompassing
both evolutionary and non-evolutionary techniques. Our findings show that
EvoFlow's specialised genetic operators and updating mechanism substantially
outperform current leading methods[..]
- Abstract(参考訳): 生データから価値ある新しい洞察を抽出するプロセスには、一連の複雑なステップが含まれる。
自動機械学習(automl)の分野では、このプロセスの側面、特にアルゴリズムの選択やハイパーパラメータの最適化といったタスクの自動化に重点が置かれている。
AutoMLの特に難しいタスクは、自動ワークフロー合成(AWC)である。
AWCは、特定のデータセットに対して、最も効果的なデータ前処理とMLアルゴリズムのシーケンスと、最高のハイパーパラメータを併用することを目的としている。
しかし、既存のAWCメソッドはワークフロー内でアルゴリズムを組み合わせる方法の数と方法に制限がある。
本稿では,AWCの文法に基づく進化的アプローチであるEvoFlowを紹介する。
evoflowはワークフロー構造の設計の柔軟性を高め、特定の要件に最も適したアルゴリズムを実践者に選択させる。
EvoFlowは、2つの革新的な機能を統合することで際立っている。
まず、ワークフローの構造とハイパーパラメータの両方を最適化するために、AWC用に特別に設計された一連の遺伝子操作子を使用している。
第二に、異なるワークフローによってなされるさまざまな予測を豊かにする、新しい更新メカニズムを実装している。
この多様性を促進することは、アルゴリズムの過度な適合を防ぐのに役立つ。
この目的により、EvoFlowは、ワークフローが誤って分類されたインスタンスで異なるアンサンブルを構築する。
EvoFlowの有効性を評価するために,分類ベンチマークを用いて実験的な検証を行った。
まず、EvoFlowのユニークなコンポーネントに起因するパフォーマンス向上を示すアブレーション研究から始める。
次に、進化的手法と非進化的手法の両方を含む他のAWC手法と比較する。
以上の結果から,evoflowの遺伝子操作と更新機構は,現在のリード手法を実質的に上回っていることが示唆された。
関連論文リスト
- Couler: Unified Machine Learning Workflow Optimization in Cloud [6.769259207650922]
Coulerは、クラウドにおけるMLワークフローの統一最適化のために設計されたシステムである。
大規模言語モデル(LLM)をワークフロー生成に統合し、さまざまなワークフローエンジンに統一されたプログラミングインターフェースを提供する。
Couerは、CPU/メモリ使用率を15%以上改善し、ワークフロー完了率を約17%向上させた。
論文 参考訳(メタデータ) (2024-03-12T12:47:32Z) - Evolving machine learning workflows through interactive AutoML [0.36832029288386137]
We present ourmethod, an interactive G3P algorithm that users to prune the search space and focus on their region of interest。
実験の結果,人間の介入を伴わない手法に比べて,チューニング時間が少ない精度で高性能な手法の発見が可能であることが確認された。
論文 参考訳(メタデータ) (2024-02-28T17:34:21Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-04T01:47:37Z) - Improvement of Computational Performance of Evolutionary AutoML in a
Heterogeneous Environment [0.0]
グラフ構造を持つパイプラインのモデリングにおける進化的最適化の質を高めるためのモジュラー手法を提案する。
実装されたアルゴリズムは、オープンソースのフレームワークであるFEDOTの一部として利用可能である。
論文 参考訳(メタデータ) (2023-01-12T15:59:04Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳(メタデータ) (2021-12-02T18:59:50Z) - Improving RNA Secondary Structure Design using Deep Reinforcement
Learning [69.63971634605797]
本稿では,RNA配列設計に強化学習を適用した新しいベンチマークを提案する。このベンチマークでは,目的関数を配列の二次構造における自由エネルギーとして定義する。
本稿では,これらのアルゴリズムに対して行うアブレーション解析の結果と,バッチ間でのアルゴリズムの性能を示すグラフを示す。
論文 参考訳(メタデータ) (2021-11-05T02:54:06Z) - Automated Evolutionary Approach for the Design of Composite Machine
Learning Pipelines [48.7576911714538]
提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。
パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。
このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
論文 参考訳(メタデータ) (2021-06-26T23:19:06Z) - Evolution of Scikit-Learn Pipelines with Dynamic Structured Grammatical
Evolution [1.5224436211478214]
本稿では、動的構造文法進化(DSGE)をScikit-Learn分類パイプラインの進化に適応させる新しい文法ベースのフレームワークについて述べる。
実験結果は、AutoML-DSGEを他の文法ベースのAutoMLフレームワークであるResilient ClassificationPipeline Evolution (RECIPE)と比較することを含む。
論文 参考訳(メタデータ) (2020-04-01T09:31:34Z) - Stepwise Model Selection for Sequence Prediction via Deep Kernel
Learning [100.83444258562263]
本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。
結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。
我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
論文 参考訳(メタデータ) (2020-01-12T09:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。