論文の概要: Integrating Hyperparameter Search into Model-Free AutoML with Context-Free Grammars

• arxiv url: http://arxiv.org/abs/2404.03419v2
• Date: Sat, 13 Apr 2024 14:57:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 19:50:54.826472
• Title: Integrating Hyperparameter Search into Model-Free AutoML with Context-Free Grammars
• Title（参考訳）: 文脈自由文法を用いたモデルフリーオートMLへのハイパーパラメータ探索の統合
• Authors: Hernán Ceferino Vázquez, Jorge Sanchez, Rafael Carrascosa,
• Abstract要約: ハイパーパラメータ探索を含むより大きな検索空間をサポートするGramMLの拡張を提案する。 提案手法をOpenMLベンチマークを用いて評価した結果,他の最先端技術と比較して大幅な改善が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated Machine Learning (AutoML) has become increasingly popular in recent years due to its ability to reduce the amount of time and expertise required to design and develop machine learning systems. This is very important for the practice of machine learning, as it allows building strong baselines quickly, improving the efficiency of the data scientists, and reducing the time to production. However, despite the advantages of AutoML, it faces several challenges, such as defining the solutions space and exploring it efficiently. Recently, some approaches have been shown to be able to do it using tree-based search algorithms and context-free grammars. In particular, GramML presents a model-free reinforcement learning approach that leverages pipeline configuration grammars and operates using Monte Carlo tree search. However, one of the limitations of GramML is that it uses default hyperparameters, limiting the search problem to finding optimal pipeline structures for the available data preprocessors and models. In this work, we propose an extension to GramML that supports larger search spaces including hyperparameter search. We evaluated the approach using an OpenML benchmark and found significant improvements compared to other state-of-the-art techniques.
• Abstract（参考訳）: 機械学習(Automated Machine Learning, 自動機械学習)は、機械学習システムの設計と開発に必要な時間と専門知識を減らし、近年人気が高まっている。 これは、強力なベースラインを迅速に構築し、データサイエンティストの効率を改善し、生産までの時間を短縮できるため、機械学習の実践にとって非常に重要である。 しかし、AutoMLの利点にもかかわらず、ソリューション空間の定義や効率的な探索など、いくつかの課題に直面している。 近年,木に基づく探索アルゴリズムや文脈自由文法を用いた手法が提案されている。 特にGramMLは,パイプライン構成文法を利用してモンテカルロ木探索を行うモデルフリー強化学習手法を提案する。 しかし、GramMLの制限の1つは、デフォルトのハイパーパラメータを使用し、検索問題を、利用可能なデータプリプロセッサとモデルのための最適なパイプライン構造を見つけることに制限することである。 本研究では,超パラメータ探索を含む大規模検索空間をサポートするGramMLの拡張を提案する。 提案手法をOpenMLベンチマークを用いて評価した結果,他の最先端技術と比較して大幅な改善が得られた。

関連論文リスト

• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• AutoML-GPT: Large Language Model for AutoML [5.9145212342776805]
  包括的なツールとライブラリを統合するAutoML-GPTというフレームワークを確立しました。 会話インターフェースを通じて、ユーザーは要求、制約、評価メトリクスを指定できる。 我々は、AutoML-GPTが機械学習タスクに必要な時間と労力を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2023-09-03T09:39:49Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
  本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。 本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。 このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
  論文  参考訳（メタデータ） (2023-05-04T02:09:43Z)
• Benchmarking AutoML algorithms on a collection of binary problems [3.3793659640122717]
  本稿では,Tree-based Pipeline Optimization Tool (TPOT), Auto-Sklearn, Auto-Sklearn 2, H2O AutoMLの4種類のAutoMLアルゴリズムの性能を比較した。 私たちはAutoMLがすべての含まれたデータセットでうまく機能するパイプラインを識別できることを確認します。
  論文  参考訳（メタデータ） (2022-12-06T01:53:50Z)
• VolcanoML: Speeding up End-to-End AutoML via Scalable Search Space Decomposition [57.06900573003609]
  VolcanoMLは、大規模なAutoML検索スペースを小さなものに分解するフレームワークである。 最新のデータベースシステムでサポートされているような、Volcanoスタイルの実行モデルをサポートしている。 評価の結果,VolcanoMLは,AutoMLにおける検索空間分解の表現性を向上するだけでなく,分解戦略の実際の発見につながることが示された。
  論文  参考訳（メタデータ） (2021-07-19T13:23:57Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Naive Automated Machine Learning -- A Late Baseline for AutoML [0.0]
  AutoML(Automated Machine Learning)は、特定のデータセット上で最高の一般化パフォーマンスを持つパイプラインを自動的に見つける問題です。 機械学習の問題に関する重要なメタ知識を利用するAutoMLの非常に単純なソリューションであるNaive AutoMLを紹介します。
  論文  参考訳（メタデータ） (2021-03-18T19:52:12Z)
• Evolution of Scikit-Learn Pipelines with Dynamic Structured Grammatical Evolution [1.5224436211478214]
  本稿では、動的構造文法進化(DSGE)をScikit-Learn分類パイプラインの進化に適応させる新しい文法ベースのフレームワークについて述べる。 実験結果は、AutoML-DSGEを他の文法ベースのAutoMLフレームワークであるResilient ClassificationPipeline Evolution (RECIPE)と比較することを含む。
  論文  参考訳（メタデータ） (2020-04-01T09:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。