論文の概要: SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning

• arxiv url: http://arxiv.org/abs/2410.17238v1
• Date: Tue, 22 Oct 2024 17:56:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:58.898662
• Title: SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning
• Title（参考訳）: SELA: 自動機械学習のための木探索強化LDMエージェント
• Authors: Yizhou Chi, Yizhang Lin, Sirui Hong, Duyi Pan, Yaying Fei, Guanghao Mei, Bangbang Liu, Tianqi Pang, Jacky Kwok, Ceyao Zhang, Bang Liu, Chenglin Wu,
• Abstract要約: Tree-Search Enhanced LLM Agents (SELA)は、Monte Carlo Tree Search (MCTS)を利用してAutoMLプロセスを最適化するエージェントベースのシステムである。 SELAはパイプライン構成をツリーとして表現し、エージェントが知的かつ反復的に戦略を洗練させることを可能にする。 20の機械学習データセットにわたる広範囲な評価において、従来のAutoML手法とエージェントベースのAutoML手法のパフォーマンスを比較した。
• 参考スコア（独自算出の注目度）: 14.702694298483445
• License:
• Abstract: Automated Machine Learning (AutoML) approaches encompass traditional methods that optimize fixed pipelines for model selection and ensembling, as well as newer LLM-based frameworks that autonomously build pipelines. While LLM-based agents have shown promise in automating machine learning tasks, they often generate low-diversity and suboptimal code, even after multiple iterations. To overcome these limitations, we introduce Tree-Search Enhanced LLM Agents (SELA), an innovative agent-based system that leverages Monte Carlo Tree Search (MCTS) to optimize the AutoML process. By representing pipeline configurations as trees, our framework enables agents to conduct experiments intelligently and iteratively refine their strategies, facilitating a more effective exploration of the machine learning solution space. This novel approach allows SELA to discover optimal pathways based on experimental feedback, improving the overall quality of the solutions. In an extensive evaluation across 20 machine learning datasets, we compare the performance of traditional and agent-based AutoML methods, demonstrating that SELA achieves a win rate of 65% to 80% against each baseline across all datasets. These results underscore the significant potential of agent-based strategies in AutoML, offering a fresh perspective on tackling complex machine learning challenges.
• Abstract（参考訳）: Automated Machine Learning(AutoML)アプローチは、モデル選択とアンサンブルのために固定パイプラインを最適化する従来の方法に加えて、パイプラインを自律的に構築する新しいLLMベースのフレームワークを含んでいる。 LLMベースのエージェントは機械学習タスクの自動化を約束しているが、複数のイテレーションの後にも、低多様性と亜最適コードを生成することが多い。 この制限を克服するために,モンテカルロ木探索(MCTS)を利用してAutoMLプロセスの最適化を行う,革新的なエージェントベースシステムであるTree-Search Enhanced LLM Agents (SELA)を導入する。 パイプライン構成をツリーとして表現することで、エージェントはインテリジェントかつ反復的に戦略を洗練し、機械学習ソリューション空間をより効果的に探索することが可能になる。 この新しいアプローチにより、SELAは実験的なフィードバックに基づいて最適な経路を発見し、ソリューションの全体的な品質を改善することができる。 20の機械学習データセットにわたる広範な評価では、従来のAutoMLメソッドとエージェントベースのAutoMLメソッドのパフォーマンスを比較し、SELAがすべてのデータセットのベースラインに対して65%から80%の勝利率を達成したことを示す。 これらの結果は、AutoMLにおけるエージェントベースの戦略の重要な可能性を強調し、複雑な機械学習課題に取り組むための新たな視点を提供する。

関連論文リスト

• I-MCTS: Enhancing Agentic AutoML via Introspective Monte Carlo Tree Search [10.718560472954644]
  イントロスペクティブモンテカルロ木探索(Introspective Monte Carlo Tree Search, I-MCTS)は、イントロスペクティブプロセスを通じてツリーノードを反復的に拡張する新しいアプローチである。 これにより、探索ツリー内のノードの継続的な改善が容易になり、全体的な意思決定プロセスが強化される。 LLM推定スコアから実際のパフォーマンススコアへQ値をシームレスに遷移させるハイブリッド報酬機構を実装した。
  論文  参考訳（メタデータ） (2025-02-20T16:19:09Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。 本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
  論文  参考訳（メタデータ） (2025-02-10T04:29:36Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• AutoEn: An AutoML method based on ensembles of predefined Machine Learning pipelines for supervised Traffic Forecasting [1.6242924916178283]
  交通予測(TF)は、将来の交通状況を予測することで交通渋滞を緩和する能力により、関連性が高まっている。 TFは、モデル選択問題(MSP)として知られる機械学習パラダイムに大きな課題を提起する。 事前に定義されたMLパイプラインの集合からマルチクラス化アンサンブルを自動生成する,シンプルで効率的な手法であるAutoEnを紹介する。
  論文  参考訳（メタデータ） (2023-03-19T18:37:18Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
  強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。 このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-01-15T03:12:29Z)
• Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL [53.40030379661183]
  Auto-PyTorchは、完全に自動化されたディープラーニング(AutoDL)を実現するフレームワーク ディープニューラルネットワーク(DNN)のウォームスタートとアンサンブルのためのマルチフィデリティ最適化とポートフォリオ構築を組み合わせる。 Auto-PyTorchは、いくつかの最先端の競合製品よりもパフォーマンスが良いことを示す。
  論文  参考訳（メタデータ） (2020-06-24T15:15:17Z)
• Adaptation Strategies for Automated Machine Learning on Evolving Data [7.843067454030999]
  本研究は,概念ドリフトなどのデータストリーム課題がAutoML手法の性能に及ぼす影響を理解することを目的とする。 本稿では,6つの概念ドリフト適応戦略を提案し,それらの有効性を異なるAutoMLアプローチで評価する。
  論文  参考訳（メタデータ） (2020-06-09T14:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。