論文の概要: BuildBench: Benchmarking LLM Agents on Compiling Real-World Open-Source Software

• arxiv url: http://arxiv.org/abs/2509.25248v1
• Date: Sat, 27 Sep 2025 03:02:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.201339
• Title: BuildBench: Benchmarking LLM Agents on Compiling Real-World Open-Source Software
• Title（参考訳）: BuildBench: LLMエージェントを実世界のオープンソースソフトウェアにコンパイルするベンチマーク
• Authors: Zehua Zhang, Ati Priya Bajaj, Divij Handa, Siyu Liu, Arvind S Raj, Hongkai Chen, Hulin Wang, Yibo Liu, Zion Leonahenahe Basque, Souradip Nath, Vishal Juneja, Nikhil Chapre, Yan Shoshitaishvili, Adam Doupé, Chitta Baral, Ruoyu Wang,
• Abstract要約: 既存のメソッドは手動でキュレートされたルールに依存しており、カスタマイズされた設定や環境設定を必要とするOSSに適応できない。 近年、Large Language Models (LLMs) を用いた試みでは、高度に評価されたOSSのサブセットを選択的に評価した。 より困難で現実的なベンチマークであるBUILD-BENCHを提案する。
• 参考スコア（独自算出の注目度）: 39.43177863341685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatically compiling open-source software (OSS) projects is a vital, labor-intensive, and complex task, which makes it a good challenge for LLM Agents. Existing methods rely on manually curated rules and workflows, which cannot adapt to OSS that requires customized configuration or environment setup. Recent attempts using Large Language Models (LLMs) used selective evaluation on a subset of highly rated OSS, a practice that underestimates the realistic challenges of OSS compilation. In practice, compilation instructions are often absent, dependencies are undocumented, and successful builds may even require patching source files or modifying build scripts. We propose a more challenging and realistic benchmark, BUILD-BENCH, comprising OSS that are more diverse in quality, scale, and characteristics. Furthermore, we propose a strong baseline LLM-based agent, OSS-BUILD-AGENT, an effective system with enhanced build instruction retrieval module that achieves state-of-the-art performance on BUILD-BENCH and is adaptable to heterogeneous OSS characteristics. We also provide detailed analysis regarding different compilation method design choices and their influence to the whole task, offering insights to guide future advances. We believe performance on BUILD-BENCH can faithfully reflect an agent's ability to tackle compilation as a complex software engineering tasks, and, as such, our benchmark will spur innovation with a significant impact on downstream applications in the fields of software development and software security.
• Abstract（参考訳）: オープンソースソフトウェア(OSS)プロジェクトの自動コンパイルは、重要で、労働集約的で複雑なタスクである。 既存のメソッドは手動でキュレートされたルールとワークフローに依存しており、カスタマイズされた設定や環境設定を必要とするOSSには対応できない。 最近のLarge Language Models (LLM) を用いた試みでは、OSSコンパイルの現実的な課題を過小評価する、高度に評価されたOSSのサブセットを選択的に評価した。 実際には、コンパイル命令が欠落することが多く、依存関係は文書化されておらず、ビルドが成功した場合、ソースファイルのパッチやビルドスクリプトの変更さえ必要になる。 より困難で現実的なベンチマークであるBUILD-BENCHを提案する。 さらに,BUILD-BENCH上での最先端性能を実現し,異種OSS特性に適応可能な,強力なベースラインLLMエージェントOSS-BUILD-AGENTを提案する。 また、異なるコンパイル方法の設計選択とそのタスク全体への影響について詳細な分析を行い、今後の進歩を導くための洞察を提供する。 BUILD-BENCHのパフォーマンスは、複雑なソフトウェアエンジニアリングタスクとしてコンパイルに取り組むエージェントの能力を忠実に反映できると考えています。

関連論文リスト

• Generalizable End-to-End Tool-Use RL with Synthetic CodeGym [52.31172214690965]
  エージェントRLのための多目的ツール環境を多種多様な、検証可能な、制御可能な、多目的ツール環境を合成するフレームワークであるCodeGymを紹介する。 CodeGymは、静的コーディングの問題を対話的な環境に書き換え、原子関数やロジックを呼び出し可能なツールに抽出する。 さまざまなサイズのモデルとCodeGymでトレーニングされたチェーン・オブ・コンフィグレーションは、一貫したアウト・オブ・ディストリビューションの一般化性を示す。
  論文  参考訳（メタデータ） (2025-09-22T03:03:56Z)
• SIMCOPILOT: Evaluating Large Language Models for Copilot-Style Code Generation [5.880496520248658]
  SIMCOPILOTは、対話型"コパイロット"スタイルのコーディングアシスタントとして、大規模言語モデル(LLM)の役割をシミュレートするベンチマークである。 ベンチマークには、Java(SIMCOPILOTJ)とPython用の専用のサブベンチマークが含まれている。
  論文  参考訳（メタデータ） (2025-05-21T04:59:44Z)
• OSS-Bench: Benchmark Generator for Coding LLMs [4.393587297483245]
  本稿では,実世界のオープンソースソフトウェアから大規模かつ実運用的な評価タスクを構築するベンチマークジェネレータOSS-Benchを紹介する。 OSS-Benchは、関数をLLM生成コードに置き換えて、コンパイル性、機能的正確性、メモリ安全性という3つの自然な指標を使用して評価する。 OSS-BenchはOSSの複雑さの進化を生かして過度な適合を緩和することを示した。
  論文  参考訳（メタデータ） (2025-05-18T09:53:51Z)
• CompileAgent: Automated Real-World Repo-Level Compilation with Tool-Integrated LLM-based Agent System [52.048087777953064]
  リポジトリレベルのコンパイル専用のエージェントフレームワークであるCompileAgentを提案する。 CompileAgentは5つのツールとフローベースのエージェント戦略を統合し、コンパイル命令検索とエラー解決のためのソフトウェアアーチファクトとのインタラクションを可能にする。 提案手法は,10%から71%の範囲で,コンパイル成功率を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-05-07T08:59:14Z)
• CodeIF: Benchmarking the Instruction-Following Capabilities of Large Language Models for Code Generation [20.013757490442064]
  タスク指向の命令に準拠する大規模言語モデル(LLM)の能力を評価するために設計された最初のベンチマークであるCodeIFを紹介する。 CodeIFは関数合成、アルゴリズム命令、コード説明など幅広いタスクを含んでいる。 我々はLLMによる広範囲な実験を行い、これらの課題の要求を満たす上での強みと限界を分析した。
  論文  参考訳（メタデータ） (2025-02-26T14:19:49Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。