論文の概要: MLE-STAR: Machine Learning Engineering Agent via Search and Targeted Refinement

• arxiv url: http://arxiv.org/abs/2506.15692v1
• Date: Tue, 27 May 2025 18:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-29 09:28:14.752091
• Title: MLE-STAR: Machine Learning Engineering Agent via Search and Targeted Refinement
• Title（参考訳）: MLE-STAR: 検索とターゲットリファインメントによる機械学習エンジニアリングエージェント
• Authors: Jaehyun Nam, Jinsung Yoon, Jiefeng Chen, Jinwoo Shin, Sercan Ö. Arık, Tomas Pfister,
• Abstract要約: 我々は機械学習エージェントを構築するための新しいアプローチであるMLE-STARを提案する。 MLE-STARは、まず、検索エンジンを使用してWebから効果的なモデルを取得することにより、外部知識を活用する。 MLE-STARにより提案される効果的な戦略を用いた新しいアンサンブル手法を提案する。
• 参考スコア（独自算出の注目度）: 73.34265922786763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agents based on large language models (LLMs) for machine learning engineering (MLE) can automatically implement ML models via code generation. However, existing approaches to build such agents often rely heavily on inherent LLM knowledge and employ coarse exploration strategies that modify the entire code structure at once. This limits their ability to select effective task-specific models and perform deep exploration within specific components, such as experimenting extensively with feature engineering options. To overcome these, we propose MLE-STAR, a novel approach to build MLE agents. MLE-STAR first leverages external knowledge by using a search engine to retrieve effective models from the web, forming an initial solution, then iteratively refines it by exploring various strategies targeting specific ML components. This exploration is guided by ablation studies analyzing the impact of individual code blocks. Furthermore, we introduce a novel ensembling method using an effective strategy suggested by MLE-STAR. Our experimental results show that MLE-STAR achieves medals in 44% of the Kaggle competitions on the MLE-bench, significantly outperforming the best alternative.
• Abstract（参考訳）: 機械学習エンジニアリング(MLE)のための大規模言語モデル(LLM)に基づくエージェントは、コード生成を介してMLモデルを自動的に実装することができる。 しかし、そのようなエージェントを構築するための既存のアプローチは、しばしば固有のLLM知識に大きく依存し、コード構造全体を一度に修正する粗い探索戦略を採用する。 これにより、効果的なタスク固有のモデルを選択し、機能エンジニアリングオプションで広範囲に実験するなど、特定のコンポーネント内で深い探索を行うことができる。 そこで本研究では,MLEエージェント構築のための新しいアプローチであるMLE-STARを提案する。 MLE-STARは、まず、検索エンジンを用いてWebから有効なモデルを検索し、初期解を作成し、その後、特定のMLコンポーネントをターゲットにした様々な戦略を探索し、反復的にそれを洗練する。 この探索は、個々のコードブロックの影響を分析するアブレーション研究によって導かれる。 さらに,MLE-STARが提案する効果的な戦略を用いた新しいアンサンブル手法を提案する。 実験の結果,MLE-STARはMLEベンチでのカグル競技の44%でメダルを獲得しており,最も優れた代替品よりも優れていた。

関連論文リスト

• LAMARL: LLM-Aided Multi-Agent Reinforcement Learning for Cooperative Policy Generation [12.098817831819078]
  大規模言語モデル (LLM) は単一ロボット設定で将来性を示すが、マルチロボットシステムにおけるそれらの応用はいまだほとんど探索されていない。 本稿では, LLMとMARLを統合し, 手動設計を必要とせずに試料効率を大幅に向上する新しいLAMARL手法を提案する。
  論文  参考訳（メタデータ） (2025-06-02T10:59:54Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? [64.62421656031128]
  MLRC-Benchは、機械学習(ML)リサーチコンペティションの挑戦において、言語エージェントがいかに効果的に対処できるかを定量化するために設計されたベンチマークである。 MLRC-Benchは以前の研究とは異なり、新しい研究手法を提案し、実装する上で重要なステップを計測する。 最も優れた試験薬でさえ、ベースラインとトップヒューマンのスコアの差の9.3%しか閉じていない。
  論文  参考訳（メタデータ） (2025-04-13T19:35:43Z)
• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning [14.702694298483445]
  Tree-Search Enhanced LLM Agents (SELA)は、Monte Carlo Tree Search (MCTS)を利用してAutoMLプロセスを最適化するエージェントベースのシステムである。 SELAはパイプライン構成をツリーとして表現し、エージェントが知的かつ反復的に戦略を洗練させることを可能にする。 20の機械学習データセットにわたる広範囲な評価において、従来のAutoML手法とエージェントベースのAutoML手法のパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2024-10-22T17:56:08Z)
• Generative Multimodal Entity Linking [24.322540112710918]
  MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。 既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。 大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。 当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
  論文  参考訳（メタデータ） (2023-06-22T07:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。