論文の概要: Benchmarking Large Language Models As AI Research Agents
- arxiv url: http://arxiv.org/abs/2310.03302v1
- Date: Thu, 5 Oct 2023 04:06:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 19:21:38.653408
- Title: Benchmarking Large Language Models As AI Research Agents
- Title（参考訳）: AI研究エージェントとしての大規模言語モデルのベンチマーク
- Authors: Qian Huang, Jian Vora, Percy Liang, Jure Leskovec
- Abstract要約: 我々は,AI研究エージェントをベンチマークするMLタスクスイートであるMLAgentBenchを提案する。
我々は, GPT-4をベースとした研究エージェントが, MLAgentBenchの多くのタスクにおいて, 魅力的なMLモデルを構築できることを発見した。
長期計画や幻覚など,LSMをベースとした研究エージェントにとって重要な課題をいくつか挙げる。
- 参考スコア（独自算出の注目度）: 105.65277755304277
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific experimentation involves an iterative process of creating
hypotheses, designing experiments, running experiments, and analyzing the
results. Can we build AI research agents to perform these long-horizon tasks?
To take a step towards building and evaluating research agents on such
open-ended decision-making tasks, we focus on the problem of machine learning
engineering: given a task description and a dataset, build a high-performing
model. In this paper, we propose MLAgentBench, a suite of ML tasks for
benchmarking AI research agents. Agents can perform actions like
reading/writing files, executing code, and inspecting outputs. With these
actions, agents could run experiments, analyze the results, and modify the code
of entire machine learning pipelines, such as data processing, architecture,
training processes, etc. The benchmark then automatically evaluates the agent's
performance objectively over various metrics related to performance and
efficiency. We also design an LLM-based research agent to automatically perform
experimentation loops in such an environment. Empirically, we find that a
GPT-4-based research agent can feasibly build compelling ML models over many
tasks in MLAgentBench, displaying highly interpretable plans and actions.
However, the success rates vary considerably; they span from almost 90\% on
well-established older datasets to as low as 10\% on recent Kaggle Challenges
-- unavailable during the LLM model's pretraining -- and even 0\% on newer
research challenges like BabyLM. Finally, we identify several key challenges
for LLM-based research agents such as long-term planning and hallucination. Our
code is released at https://github.com/snap-stanford/MLAgentBench.
- Abstract（参考訳）: 科学的実験は仮説の作成、実験の設計、実験の実行、結果の分析を反復的に行う。
長期的なタスクを実行するAI研究エージェントを構築できるだろうか?
このようなオープンな意思決定タスクで研究エージェントを構築し評価するために、タスク記述とデータセットが与えられた場合、我々は機械学習エンジニアリングの問題に焦点を当て、ハイパフォーマンスなモデルを構築します。
本稿では,AI研究エージェントをベンチマークするMLタスクスイートであるMLAgentBenchを提案する。
エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。
これらのアクションによって、エージェントは実験を実行し、結果を分析し、データ処理、アーキテクチャ、トレーニングプロセスなど、マシンラーニングパイプライン全体のコードを変更することができる。
ベンチマークはエージェントのパフォーマンスを、パフォーマンスと効率に関するさまざまな指標に対して客観的に評価する。
また、このような環境で実験ループを自動実行するLLMベースの研究エージェントを設計する。
実験により, GPT-4をベースとした研究エージェントは, MLAgentBenchの多くのタスクにおいて, 説得力のあるMLモデルを構築できることがわかった。
しかしながら、成功率は、確立された古いデータセットの90%近くから、最近のKaggle Challenge(LLMモデルの事前トレーニング中に利用できない)の10倍、BabyLMのような新しい研究課題の0倍まで、大きく異なる。
最後に, 長期計画や幻覚など, LLMをベースとした研究エージェントにとって重要な課題をいくつか挙げる。
私たちのコードはhttps://github.com/snap-stanford/mlagentbenchでリリースしています。
関連論文リスト
- Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows? [73.81908518992161]
我々は、プロのデータサイエンスとエンジニアリングに焦点を当てた最初のマルチモーダルエージェントベンチマークであるSpider2-Vを紹介する。
Spider2-Vは、本物のコンピュータ環境における現実世界のタスクを特徴とし、20のエンタープライズレベルのプロフェッショナルアプリケーションを組み込んでいる。
これらのタスクは、エンタープライズデータソフトウェアシステムにおいて、コードを書き、GUIを管理することで、マルチモーダルエージェントがデータ関連のタスクを実行する能力を評価する。
論文 参考訳（メタデータ） (2024-07-15T17:54:37Z) - Automating Code Adaptation for MLOps -- A Benchmarking Study on LLMs [0.0]
各種MLOps機能の自動達成におけるOpenAI(gpt-3.5-turbo)とWizardCoder(オープンソース,15Bパラメータ)モデルの性能評価を行った。
論文 参考訳（メタデータ） (2024-05-10T22:18:43Z) - Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。
本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。
本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
論文 参考訳（メタデータ） (2024-03-19T16:26:10Z) - Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。
ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。
3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-03-05T15:08:16Z) - DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。
開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。
デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-27T12:26:07Z) - More Agents Is All You Need [16.372072265248192]
単にサンプリング・アンド・投票方式によって,大規模言語モデル(LLM)の性能は,エージェントの数がインスタンス化されるに従ってスケールすることがわかった。
論文 参考訳（メタデータ） (2024-02-03T05:55:24Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳（メタデータ） (2023-11-16T12:03:21Z) - Operationalizing Machine Learning: An Interview Study [13.300075655862573]
私たちは18人の機械学習エンジニア(MLE)と半構造化インタビューを行い、多くのアプリケーションで作業しています。
私たちのインタビューでは、運用MLデプロイメントの成功を管理する変数として、Velocity、Validation、Versioningの3つを公開しています。
ML実験の成功、デプロイメント、運用パフォーマンスの維持に関する一般的なプラクティスを要約します。
論文 参考訳（メタデータ） (2022-09-16T16:59:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。