論文の概要: MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering

• arxiv url: http://arxiv.org/abs/2410.07095v2
• Date: Thu, 24 Oct 2024 12:35:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 22:27:10.067792
• Title: MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering
• Title（参考訳）: MLE-bench: 機械学習エンジニアリングにおける機械学習エージェントの評価
• Authors: Jun Shern Chan, Neil Chowdhury, Oliver Jaffe, James Aung, Dane Sherburn, Evan Mays, Giulio Starace, Kevin Liu, Leon Maksin, Tejal Patwardhan, Lilian Weng, Aleksander Mądry,
• Abstract要約: MLE-benchは、AIエージェントが機械学習エンジニアリングでどのように機能するかを測定するためのベンチマークである。 われわれはKaggleから75のMLエンジニアリング関連のコンペを開催する。 私たちはKaggleが公開しているリーダーボードを使って、各競技の人間ベースラインを確立します。
• 参考スコア（独自算出の注目度）: 35.237253622981264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MLE-bench, a benchmark for measuring how well AI agents perform at machine learning engineering. To this end, we curate 75 ML engineering-related competitions from Kaggle, creating a diverse set of challenging tasks that test real-world ML engineering skills such as training models, preparing datasets, and running experiments. We establish human baselines for each competition using Kaggle's publicly available leaderboards. We use open-source agent scaffolds to evaluate several frontier language models on our benchmark, finding that the best-performing setup--OpenAI's o1-preview with AIDE scaffolding--achieves at least the level of a Kaggle bronze medal in 16.9% of competitions. In addition to our main results, we investigate various forms of resource scaling for AI agents and the impact of contamination from pre-training. We open-source our benchmark code (github.com/openai/mle-bench/) to facilitate future research in understanding the ML engineering capabilities of AI agents.
• Abstract（参考訳）: 機械学習エンジニアリングにおけるAIエージェントのパフォーマンスを計測するベンチマークであるMLE-benchを紹介する。 この目的のために、Kaggleによる75のMLエンジニアリング関連コンペティションをキュレートし、トレーニングモデル、データセットの準備、実験の実行など、現実のMLエンジニアリングスキルをテストする、さまざまな課題のセットを作成しました。 私たちはKaggleが公開しているリーダーボードを使って、各競技の人間ベースラインを確立します。 ベンチマークでいくつかのフロンティア言語モデルを評価するために、オープンソースのエージェントの足場を使用して、最高のパフォーマンスのセットアップ — OpenAIのo1-preview with AIDEの足場 -- が、少なくとも16.9%のコンペティションでカグル・ブロンズ・メダルのレベルを達成していることを発見した。 本研究の主な成果に加えて,AIエージェントの様々な形態の資源スケーリングと,事前学習による汚染の影響について検討した。 我々は、AIエージェントのMLエンジニアリング能力を理解するための将来の研究を促進するために、ベンチマークコード(github.com/openai/mle-bench/)をオープンソース化した。

関連論文リスト

• Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level [73.14232472724758]
  我々は、エンドツーエンドの自律データサイエンスエージェントであるAgent K v1.0を紹介する。 経験から学ぶことによって、データサイエンスのライフサイクル全体を管理する。 キー情報を選択的に保存して検索することで、長期記憶と短期記憶を最適化する。
  論文  参考訳（メタデータ） (2024-11-05T23:55:23Z)
• ML Research Benchmark [0.0]
  MLRB(ML Research Benchmark)は,最近の機械学習カンファレンスのトラックから派生した7つの競合レベルタスクからなる。 本稿では,Claude-3 や GPT-4o などのフロンティアモデルを用いたエージェント足場を用いて,新しいベンチマークを提案し,評価する。 結果は、Claude-3.5 Sonnetエージェントがベンチマーク全体で最高のパフォーマンスを示し、機械学習モデルの設計と開発に優れていたことを示唆している。
  論文  参考訳（メタデータ） (2024-10-29T21:38:42Z)
• VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents [50.12414817737912]
  大規模マルチモーダルモデル(LMM)は、人工知能の新たな時代を迎え、言語と視覚の融合によって、高い能力を持つVisual Foundation Agentを形成する。 既存のベンチマークでは、複雑な実世界の環境でのLMMの可能性を十分に証明できない。 VisualAgentBench (VAB) は、視覚基礎エージェントとしてLMMを訓練し評価するための先駆的なベンチマークである。
  論文  参考訳（メタデータ） (2024-08-12T17:44:17Z)
• A Preliminary Study on Using Large Language Models in Software Pentesting [2.0551676463612636]
  大規模言語モデル(LLM)は、セキュリティタスクを自動化するための有望な可能性を提供すると考えられている。 ソフトウェアペンテスティングにおけるLLMの使用について検討し,ソースコード中のソフトウェアセキュリティ脆弱性を自動的に識別する作業を行う。
  論文  参考訳（メタデータ） (2024-01-30T21:42:59Z)
• Benchmarking Robustness and Generalization in Multi-Agent Systems: A Case Study on Neural MMO [50.58083807719749]
  IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。 この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。 環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
  論文  参考訳（メタデータ） (2023-08-30T07:16:11Z)
• OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
  ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。 この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。 マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
  論文  参考訳（メタデータ） (2023-04-10T03:55:35Z)
• The MineRL BASALT Competition on Learning from Human Feedback [58.17897225617566]
  MineRL BASALTコンペティションは、この重要な種類の技術の研究を促進することを目的としている。 Minecraftでは、ハードコードされた報酬関数を書くのが難しいと期待する4つのタスクのスイートを設計しています。 これら4つのタスクのそれぞれについて、人間のデモのデータセットを提供するとともに、模擬学習ベースラインを提供する。
  論文  参考訳（メタデータ） (2021-07-05T12:18:17Z)
• AIBench Training: Balanced Industry-Standard AI Training Benchmarking [26.820244556465333]
  新しいAIアーキテクチャ/システムのアーリーステージ評価には、安価なベンチマークが必要だ。 私たちは現実世界のベンチマークを使って、学習力学に影響を与える要因をカバーしています。 私たちは、最も包括的なAIトレーニングベンチマークスイートにコントリビュートしています。
  論文  参考訳（メタデータ） (2020-04-30T11:08:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。