論文の概要: SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning

• arxiv url: http://arxiv.org/abs/2410.17238v1
• Date: Tue, 22 Oct 2024 17:56:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:58.898662
• Title: SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning
• Title（参考訳）: SELA: 自動機械学習のための木探索強化LDMエージェント
• Authors: Yizhou Chi, Yizhang Lin, Sirui Hong, Duyi Pan, Yaying Fei, Guanghao Mei, Bangbang Liu, Tianqi Pang, Jacky Kwok, Ceyao Zhang, Bang Liu, Chenglin Wu,
• Abstract要約: Tree-Search Enhanced LLM Agents (SELA)は、Monte Carlo Tree Search (MCTS)を利用してAutoMLプロセスを最適化するエージェントベースのシステムである。 SELAはパイプライン構成をツリーとして表現し、エージェントが知的かつ反復的に戦略を洗練させることを可能にする。 20の機械学習データセットにわたる広範囲な評価において、従来のAutoML手法とエージェントベースのAutoML手法のパフォーマンスを比較した。
• 参考スコア（独自算出の注目度）: 14.702694298483445
• License:
• Abstract: Automated Machine Learning (AutoML) approaches encompass traditional methods that optimize fixed pipelines for model selection and ensembling, as well as newer LLM-based frameworks that autonomously build pipelines. While LLM-based agents have shown promise in automating machine learning tasks, they often generate low-diversity and suboptimal code, even after multiple iterations. To overcome these limitations, we introduce Tree-Search Enhanced LLM Agents (SELA), an innovative agent-based system that leverages Monte Carlo Tree Search (MCTS) to optimize the AutoML process. By representing pipeline configurations as trees, our framework enables agents to conduct experiments intelligently and iteratively refine their strategies, facilitating a more effective exploration of the machine learning solution space. This novel approach allows SELA to discover optimal pathways based on experimental feedback, improving the overall quality of the solutions. In an extensive evaluation across 20 machine learning datasets, we compare the performance of traditional and agent-based AutoML methods, demonstrating that SELA achieves a win rate of 65% to 80% against each baseline across all datasets. These results underscore the significant potential of agent-based strategies in AutoML, offering a fresh perspective on tackling complex machine learning challenges.
• Abstract（参考訳）: Automated Machine Learning(AutoML)アプローチは、モデル選択とアンサンブルのために固定パイプラインを最適化する従来の方法に加えて、パイプラインを自律的に構築する新しいLLMベースのフレームワークを含んでいる。 LLMベースのエージェントは機械学習タスクの自動化を約束しているが、複数のイテレーションの後にも、低多様性と亜最適コードを生成することが多い。 この制限を克服するために,モンテカルロ木探索(MCTS)を利用してAutoMLプロセスの最適化を行う,革新的なエージェントベースシステムであるTree-Search Enhanced LLM Agents (SELA)を導入する。 パイプライン構成をツリーとして表現することで、エージェントはインテリジェントかつ反復的に戦略を洗練し、機械学習ソリューション空間をより効果的に探索することが可能になる。 この新しいアプローチにより、SELAは実験的なフィードバックに基づいて最適な経路を発見し、ソリューションの全体的な品質を改善することができる。 20の機械学習データセットにわたる広範な評価では、従来のAutoMLメソッドとエージェントベースのAutoMLメソッドのパフォーマンスを比較し、SELAがすべてのデータセットのベースラインに対して65%から80%の勝利率を達成したことを示す。 これらの結果は、AutoMLにおけるエージェントベースの戦略の重要な可能性を強調し、複雑な機械学習課題に取り組むための新たな視点を提供する。

関連論文リスト

• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
  大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。 我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。 実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:45:56Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• AutoML-GPT: Large Language Model for AutoML [5.9145212342776805]
  包括的なツールとライブラリを統合するAutoML-GPTというフレームワークを確立しました。 会話インターフェースを通じて、ユーザーは要求、制約、評価メトリクスを指定できる。 我々は、AutoML-GPTが機械学習タスクに必要な時間と労力を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2023-09-03T09:39:49Z)
• AutoEn: An AutoML method based on ensembles of predefined Machine Learning pipelines for supervised Traffic Forecasting [1.6242924916178283]
  交通予測(TF)は、将来の交通状況を予測することで交通渋滞を緩和する能力により、関連性が高まっている。 TFは、モデル選択問題(MSP)として知られる機械学習パラダイムに大きな課題を提起する。 事前に定義されたMLパイプラインの集合からマルチクラス化アンサンブルを自動生成する,シンプルで効率的な手法であるAutoEnを紹介する。
  論文  参考訳（メタデータ） (2023-03-19T18:37:18Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
  強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。 このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-01-15T03:12:29Z)
• Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL [53.40030379661183]
  Auto-PyTorchは、完全に自動化されたディープラーニング(AutoDL)を実現するフレームワーク ディープニューラルネットワーク(DNN)のウォームスタートとアンサンブルのためのマルチフィデリティ最適化とポートフォリオ構築を組み合わせる。 Auto-PyTorchは、いくつかの最先端の競合製品よりもパフォーマンスが良いことを示す。
  論文  参考訳（メタデータ） (2020-06-24T15:15:17Z)
• Adaptation Strategies for Automated Machine Learning on Evolving Data [7.843067454030999]
  本研究は,概念ドリフトなどのデータストリーム課題がAutoML手法の性能に及ぼす影響を理解することを目的とする。 本稿では,6つの概念ドリフト適応戦略を提案し,それらの有効性を異なるAutoMLアプローチで評価する。
  論文  参考訳（メタデータ） (2020-06-09T14:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。