論文の概要: RExBench: Can coding agents autonomously implement AI research extensions?

• arxiv url: http://arxiv.org/abs/2506.22598v1
• Date: Fri, 27 Jun 2025 19:41:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.47833
• Title: RExBench: Can coding agents autonomously implement AI research extensions?
• Title（参考訳）: RexBench: コーディングエージェントはAI研究拡張を自律的に実装できますか?
• Authors: Nicholas Edwards, Yukyung Lee, Yujun, Mao, Yulu Qin, Sebastian Schuster, Najoung Kim,
• Abstract要約: LLM(Large Language Models)に基づくエージェントは、高度なソフトウェアエンジニアリングタスクを自律的に実行することを約束している。 研究拡張とその実装は,このようなシステムにとって重要な能力である,と我々は主張する。 この機能の評価をサポートするために、RExBenchを導入します。
• 参考スコア（独自算出の注目度）: 13.471860981970233
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Agents based on Large Language Models (LLMs) have shown promise for performing sophisticated software engineering tasks autonomously. In addition, there has been progress towards developing agents that can perform parts of the research pipeline in machine learning and the natural sciences. We argue that research extension and its implementation is a critical capability for such systems, and introduce RExBench to support the evaluation of this capability. RExBench is a benchmark consisting of 12 realistic research experiment implementation tasks that aim to investigate research hypotheses that have not previously been implemented. Each task is set up as an extension to an existing research paper and codebase, accompanied by domain expert-written instructions. RExBench is robust to data contamination, and supports an automatic evaluation infrastructure that executes agent outputs to determine whether the success criteria are met. We use this benchmark to evaluate nine LLM agents implemented using three different frameworks: aider, Claude Code, and OpenHands. We find that all agents evaluated fail to autonomously implement the majority of the extensions. Although the success rate improves with additional human-written hints, the best performance under this setting remains below 40%. This indicates that current agents are still short of being able to handle realistic research extension tasks without substantial human guidance.
• Abstract（参考訳）: LLM(Large Language Models)に基づくエージェントは、高度なソフトウェアエンジニアリングタスクを自律的に実行することを約束している。 さらに、機械学習と自然科学の研究パイプラインの一部を実行するエージェントの開発も進んでいる。 研究拡張とその実装はそのようなシステムにとって重要な機能であり,その評価を支援するためにRExBenchを導入している。 RExBenchは、これまで実装されていない研究仮説を調査することを目的とした、12の現実的な研究実験の実装タスクからなるベンチマークである。 各タスクは、既存の研究論文とコードベースの拡張として設定され、ドメインの専門家による指示が伴います。 RExBenchはデータ汚染に対して堅牢で、エージェント出力を実行する自動評価インフラストラクチャをサポートし、成功基準が満たされているかどうかを判断する。 我々はこのベンチマークを用いて、Aider、Claude Code、OpenHandsという3つの異なるフレームワークを用いて実装された9つのLLMエージェントを評価する。 評価されたすべてのエージェントが,エクステンションの大部分を自律的に実装することができないことが分かりました。 成功率は、追加の人間によるヒントによって改善されるが、この設定下での最高のパフォーマンスは、まだ40%以下である。 これは、現在のエージェントが人間の指導なしに現実的な研究拡張タスクを処理できないことを示している。

関連論文リスト

• From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking [48.90371827091671]
  AutoExperimentは、AIエージェントの機械学習実験の実装と実行能力を評価するベンチマークである。 我々は最先端のエージェントを評価し、n$が増加するにつれて性能が急速に低下することを発見した。 本研究は、長期コード生成、文脈検索、自律的な実験実行における重要な課題を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-24T15:39:20Z)
• Coding Agents with Multimodal Browsing are Generalist Problem Solvers [48.938445118630284]
  OpenHands-Versaは、控えめな多くの汎用ツールで構築された汎用AIエージェントである。 既存の最先端マルチエージェントシステムは、ターゲットドメインを超えて一般化できないことを示す。
  論文  参考訳（メタデータ） (2025-06-03T15:50:55Z)
• PaperBench: Evaluating AI's Ability to Replicate AI Research [3.4567792239799133]
  PaperBenchは、AIエージェントが最先端のAI研究を複製する能力を評価するベンチマークである。 エージェントは、スクラッチから20個のICML 2024 SpotlightとOralの文書を複製する必要がある。 PaperBenchには8,316の個別の段階的なタスクが含まれている。
  論文  参考訳（メタデータ） (2025-04-02T15:55:24Z)
• MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
  我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。 これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。 我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
  論文  参考訳（メタデータ） (2025-02-20T12:28:23Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• AgentQuest: A Modular Benchmark Framework to Measure Progress and Improve LLM Agents [19.439775106707344]
  AgentQuestは、ベンチマークとメトリクスがモジュール化され、十分にドキュメント化され使いやすいAPIを通じて容易に利用できるフレームワークである。 課題を解決しながら LLM エージェントの進捗を確実に追跡できる2つの新しい評価指標を提供する。 一般的な障害点を特定し,エージェントアーキテクチャを洗練し,大幅な性能向上を実現する2つのユースケースにおけるメトリクスの有用性を実証する。
  論文  参考訳（メタデータ） (2024-04-09T16:01:24Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。