論文の概要: LoLBench: Evaluating Coding Agents with Long-Horizon Proposals on Large Software Systems

• arxiv url: http://arxiv.org/abs/2609.37143v1
• Date: Tue, 29 Sep 2026 09:41:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.393203
• Title: LoLBench: Evaluating Coding Agents with Long-Horizon Proposals on Large Software Systems
• Title（参考訳）: LoLBench: 大規模ソフトウェアシステムにおける長距離提案によるコーディングエージェントの評価
• Abstract要約: LoLBenchは、29のソフトウェアシステムにまたがる5つのドメインにおける100のタスクのベンチマークである。 各タスクは、ユーザ意図とハイレベルな設計を備えた、人間による拡張提案を提供する。 評価した28のエージェントのうち、最高のエージェントはタスクの14%しか解決せず、52.7%のフェイル・ツー・パスレートを達成する。
• 参考スコア（独自算出の注目度）: 15.966498143273943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern coding agents can deliver increasingly large repository-level changes, and recent benchmarks reflect this by emphasizing long-horizon tasks with large reference implementations. Many benchmarks evaluate coding agents' implementation capability to produce correct code edits from detailed specifications. However, practical modular development tasks also require the perception capability of grounding user intent and high-level design to derive a specification. We introduce LoLBench to evaluate both capabilities through the entire proposal-to-implementation process on large software systems. It is a multilingual benchmark of 100 tasks across 29 software systems in five domains. Each task provides a human-written enhancement proposal with user intent and high-level design. On average, proposals contain about 5,000 words, software systems contain 2.4 million source lines of code (LoC), and implementation pull requests (PRs) change approximately 5,500 LoC. Across 28 agents we evaluated, the best agent resolves only 14% of tasks and achieves a 52.7% Fail-to-Pass (F2P) pass rate. Failure analysis identifies incomplete code localization as a major bottleneck, while providing reference-derived file trees alongside API specifications improves resolved rates by 16--22 percentage points (2.4--17$\times$), reaching at most 34%. These results show that both perception and implementation remain central challenges for coding agents in practical modular development on large software systems. LoLBench is available at https://huggingface.co/datasets/lolbench26/LoLBench.
• Abstract（参考訳）: 現代のコーディングエージェントは、ますます大きなリポジトリレベルの変更を提供することができ、最近のベンチマークでは、大規模な参照実装で長い水平タスクを強調することでこれを反映している。 多くのベンチマークは、詳細な仕様から正しいコード編集を生成するためのコーディングエージェントの実装能力を評価する。 しかし、実際のモジュラー開発タスクは、仕様を導出するためにユーザー意図と高レベルの設計を基盤とする認識能力も必要である。 大規模ソフトウェアシステムにおける提案から実装までのプロセス全体を通じて,両機能を評価するためにLoLBenchを導入する。 これは、29のソフトウェアシステムにまたがる5つのドメインにおける100のタスクの多言語ベンチマークである。 各タスクは、ユーザ意図とハイレベルな設計を備えた、人間による拡張提案を提供する。 提案には平均で約5,000ワード,ソフトウェアシステムには2.4万行のソースコード (LoC) が含まれ,実装プルリクエスト (PR) では約5500行が変更されている。 評価した28のエージェントのうち、最高のエージェントはタスクの14%しか解決せず、52.7%のフェイル・ツー・パス(F2P)を達成している。 フェール分析では、不完全なコードのローカライゼーションが主要なボトルネックであると認識され、API仕様と並行して参照由来のファイルツリーを提供することで、解決率を16～22ポイント(2.4～17$\times$)改善し、最大で34%に達した。 これらの結果から,大規模ソフトウェアシステム上での実用的なモジュール化開発において,認識と実装の両方がコーディングエージェントの中心的課題であることが明らかとなった。 LoLBenchはhttps://huggingface.co/datasets/lolbench26/LoLBenchで入手できる。

関連論文リスト

• CodeMidas: Scaling Agentic Coding RL Environments from Code Itself [55.204742661138745]
  強化学習(RL)による有能な符号化エージェントの訓練には、信頼性のある検証器による多様なタスクが必要である。 オープンソースはそのようなタスクの豊富なソースを提供するが、既存のメソッドは通常、問題やコミットのような開発成果物に依存している。 我々は,既存の実装機能を,ソースコードを唯一のタスク固有の入力として使用して実行可能なRL環境に変換するエージェントパイプラインであるCodeMidasを紹介する。
  論文  参考訳（メタデータ） (2026-09-18T17:55:17Z)
• RoadmapBench: Evaluating Long-Horizon Agentic Software Development Across Version Upgrades [32.04167306620878]
  RoadmapBenchは、115の長い水平コーディングタスクのベンチマークで、実際のオープンソースバージョンをアップグレードします。 各タスクはエージェントをソースバージョンコードスナップショットに配置し、マルチターゲットのロードマップ命令を提供する。 最強のクロード=オプス-4.7でも39.1%のタスクしか解決していないのに対し、最も弱いイテレーションは5.2%しか達成していない。
  論文  参考訳（メタデータ） (2026-05-15T11:00:33Z)
• ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
  ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。 概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。 エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
  論文  参考訳（メタデータ） (2026-02-02T05:17:23Z)
• Agentic Much? Adoption of Coding Agents on GitHub [6.395990525268647]
  GitHub上でのコーディングエージェントの採用に関する大規模な研究を初めて紹介する。 採用率は15.85%--22.60%と見積もられているが、これは数ヶ月前の技術では極めて高い。 コミットレベルでは、コーディングエージェントによって支援されるコミットは、人間の開発者によって書かれたコミットよりも大きいことが分かります。
  論文  参考訳（メタデータ） (2026-01-26T10:28:10Z)
• Towards Realistic Project-Level Code Generation via Multi-Agent Collaboration and Semantic Architecture Modeling [7.753074942497876]
  CodeProjectEvalは、12.7ファイルと2,388.6行のタスクを持つ18の現実世界リポジトリから構築されたプロジェクトレベルのコード生成データセットである。 プロジェクトをアーキテクチャ設計、スケルトン生成、コードフィリングステージに分解するマルチエージェントフレームワークであるProjectGenを提案する。 実験によると、ProjectGenは、52/124のテストケースを小さなプロジェクトレベルのコード生成データセットDevBenchに渡すことで、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-05T12:12:35Z)
• The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution [86.4588675093384]
  Toolathlonは、多様なアプリやツール、現実的な環境設定、信頼性の高い実行ベースの評価を提供する言語エージェントのベンチマークである。 このベンチマークには、手動でソースまたはクラフトされたタスクが108つ含まれており、平均20回以上にわたって複数のアプリと対話する必要がある。 Toolathlonは、より有能な言語エージェントを現実の長期タスク実行のために開発することを期待しています。
  論文  参考訳（メタデータ） (2025-10-29T17:32:49Z)
• CodeTree: Agent-guided Tree Search for Code Generation with Large Language Models [106.11371409170818]
  大規模言語モデル(LLM)は、生成されたコードを自己定義し、自律的に改善する機能を持つエージェントとして機能する。 コード生成プロセスの異なる段階における探索空間を効率的に探索するLLMエージェントのためのフレームワークであるCodeTreeを提案する。 具体的には、異なるコーディング戦略を明示的に探求し、対応するコーディングソリューションを生成し、その後、ソリューションを洗練するために統合されたツリー構造を採用しました。
  論文  参考訳（メタデータ） (2024-11-07T00:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。