論文の概要: DeployBench: Benchmarking LLM Agents for Research Artifact Deployment
- arxiv url: http://arxiv.org/abs/2606.05238v1
- Date: Wed, 03 Jun 2026 04:59:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.270172
- Title: DeployBench: Benchmarking LLM Agents for Research Artifact Deployment
- Title（参考訳）: DeployBench: 研究成果物のデプロイのためのLLMエージェントのベンチマーク
- Abstract要約: LLMエージェントは、ソフトウェア工学とML研究のタスクを急速に進歩させてきたが、これらの進歩は、しばしば動作可能な実行可能な環境へのアクセスを前提としている。
既存の環境設定ベンチマークは、研究成果物の配置の全範囲をカバーしていない。
我々は、AI/ML、コンピュータシステム、科学計算にまたがる51の研究成果デプロイメントタスクのベンチマークであるDeployBenchを紹介する。
- 参考スコア（独自算出の注目度）: 21.93024846646044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents have made rapid progress on software engineering and ML research tasks, but these advances often assume access to a working runnable environment. For research artifacts released alongside published papers, setting up such an environment from a fresh machine remains a major bottleneck. Existing environment setup benchmarks do not cover the full scope of research artifact deployment, which involves multi-language toolchains, system-level dependencies beyond containers (e.g. GPU/CUDA and kernel configurations), and legacy artifact compatibility. We introduce DeployBench, a multi-domain benchmark of 51 research-artifact deployment tasks spanning AI/ML, computer systems, and scientific computing, covering all these dimensions. Each task is verified by a hidden pipeline that executes the paper's designated experiment and checks its outputs. Evaluating four state-of-the-art LLMs with OpenHands yields pass-rates from 7.8% - 51.0% . Failures are dominated by a completion-judgment problem: 97 of 154 are agent-terminated self-stops, where the agent's pre-finish checks validate a different or weaker target than the paper-specific task requires. DeployBench highlights the gap between current agents and autonomous deployment, and offers a realistic testbed for scientific research agents.
- Abstract（参考訳）: LLMエージェントは、ソフトウェア工学とML研究のタスクを急速に進歩させてきたが、これらの進歩は、しばしば動作可能な実行可能な環境へのアクセスを前提としている。
論文とともに公開された研究成果物については、新しいマシンからそのような環境を設定することが大きなボトルネックとなっている。
既存の環境設定ベンチマークでは、マルチ言語ツールチェーン、コンテナを越えたシステムレベルの依存関係(GPU/CUDAやカーネル構成など)、アーティファクトとの互換性など、研究成果物のデプロイメントの全範囲をカバーしていない。
我々は、AI/ML、コンピュータシステム、科学コンピューティングにまたがる51の研究成果デプロイメントタスクのマルチドメインベンチマークであるDeployBenchを紹介した。
各タスクは、紙の指定された実験を実行し、出力をチェックする隠れパイプラインによって検証される。
OpenHandsで4つの最先端LCMを評価すると、パスレートは7.8%から51.0%になる。
154の97はエージェントが決定するセルフストップであり、エージェントのプリフィニッシュチェックは、紙固有のタスクよりも異なるもしくは弱いターゲットを検証する。
DeployBenchは、現在のエージェントと自律的なデプロイメントのギャップを強調し、科学研究エージェントに現実的なテストベッドを提供する。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - Multi-Agent LLM Collaboration for Unit Test Generation via Human-Testing-Inspired Workflows [18.32804849870551]
大規模言語モデル(LLM)は、自動単体テスト生成の研究を急加速させた。
マルチエージェント協調機構を用いて,人間のテストプラクティスをエミュレートするLLMベースのテスト生成手法であるTestAgentを提案する。
TestAgentは97.46%の実行率、92.34%のラインカバレッジ、90.24%のブランチカバレッジ、6つのJavaプロジェクトで83.69%の突然変異スコアを達成した。
論文 参考訳（メタデータ） (2026-07-10T05:16:54Z) - HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks [3.958773019872771]
既存のベンチマークは主に、孤立したコンポーネントレベルのタスクでLarge Language Models (LLM)を評価する。
HWE-Benchは,LLMエージェントを現実のハードウェアバグ修正タスクで評価するための,最初の大規模リポジトリレベルのベンチマークである。
論文 参考訳（メタデータ） (2026-04-16T07:19:34Z) - Ask or Assume? Uncertainty-Aware Clarification-Seeking in Coding Agents [4.301199871195023]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学のようなオープンなドメインにますますデプロイされています。
我々は, SWE-bench Verified の未特定変種に対する LLM エージェントの解明と探索能力を評価する。
コード実行から不特定性検出を明示的に分離する不確実性認識型マルチエージェントスキャフォールドを提案する。
論文 参考訳（メタデータ） (2026-03-27T09:56:26Z) - ResearchEnvBench: Benchmarking Agents on Environment Synthesis for Research Code Execution [44.652433226889976]
ResearchEnvBenchは、研究コード実行における環境合成のベンチマークである。
再現可能な科学的研究に向けて自律的なエージェントを前進させるための現実的なテストベッドを提供する。
論文 参考訳（メタデータ） (2026-03-06T08:29:08Z) - AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。
Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。
本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
論文 参考訳（メタデータ） (2026-02-06T16:45:02Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models [60.713908578319256]
タスク指向の知識で検出器を最適化するために,DDL(Direct Discrepancy Learning)を提案する。
そこで本研究では,最新のMGTD性能を実現する統合検出フレームワークであるTectAnyLLMを紹介する。
MIRAGEは5つのテキストドメインにまたがる10のコーパスから人書きテキストをサンプリングし、17個の最先端のLLMを使用して再生成または修正する。
論文 参考訳（メタデータ） (2025-09-15T10:59:57Z) - FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks [52.47895046206854]
FieldWorkArenaは、現実世界のフィールドワークをターゲットにしたエージェントAIのベンチマークである。
本稿では、エージェントAIが現実世界の作業環境ベンチマークのために持つべき新しいアクション空間を定義する。
論文 参考訳（メタデータ） (2025-05-26T08:21:46Z) - LLM Agents Making Agent Tools [2.5529148902034637]
ツールの使用は、大規模言語モデル(LLM)を、複雑なマルチステップタスクを実行できる強力なエージェントに変えた。
しかし、これらのツールは人間の開発者によって事前に実装されなければならない。
論文をコードで自律的にLLM互換のツールに変換するエージェントフレームワークであるToolMakerを提案する。
論文 参考訳（メタデータ） (2025-02-17T11:44:11Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳（メタデータ） (2023-11-16T12:03:21Z) - MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。
各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。
我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
論文 参考訳（メタデータ） (2023-10-05T04:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。