論文の概要: Multi-step SWE: Can Coding Agents Keep Building on Their Own Code Over Long Horizons?
- arxiv url: http://arxiv.org/abs/2611.07166v1
- Date: Wed, 04 Nov 2026 21:49:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.458094
- Title: Multi-step SWE: Can Coding Agents Keep Building on Their Own Code Over Long Horizons?
- Title（参考訳）: マルチステップSWE: コーディングエージェントはロングホライズンズ上で独自のコードを構築し続けることができるか?
- Abstract要約: マルチステップSWE(Multi-step SWE)は、69のソフトウェアエンジニアリングタスクの長期ベンチマークである。
すべてのステップは、エージェントが前のステップで生成したコードから始まる、完全なマルチ時間エンジニアリング要求である。
タスクはエンジニアリング作業の4つのファミリーと9つの言語にまたがる。
- 参考スコア（独自算出の注目度）: 4.7280069819300605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developers rarely give a coding agent a single request: they ask it to build a component and then to extend, upgrade, and optimize it, each time on code the agent itself wrote. Most benchmarks, however, score one task at a time. We introduce Multi-step SWE, a long-horizon benchmark of 69 software engineering tasks, each a chain of 5-15 dependent steps on a single codebase. Every step is a complete, multi-hour engineering request that starts from the code the agent produced in the preceding steps, so early design decisions and errors carry forward. The tasks span four families of engineering work and nine languages, include both from-scratch builds and existing open-source codebases, and ground every step in an existing source of truth that defines both the instruction and its verifier. Across nine frontier models, the strongest model reaches a solve rate of only 18.5%, and 38 of the 69 tasks are not solved by any model. We release Multi-step SWE publicly at https://multistepswe.com.
- Abstract（参考訳）: 開発者は、コーディングエージェントに単一のリクエストを与えることはめったにない。彼らは、コンポーネントを構築し、エージェント自身が書いたコードに対して毎回、それを拡張、アップグレード、最適化するように要求する。
しかし、ほとんどのベンチマークは一度に1つのタスクをスコア付けします。
我々は69のソフトウェアエンジニアリングタスクの長期ベンチマークであるMulti-step SWEを紹介した。
すべてのステップは、エージェントが前のステップで生成したコードから始まる、完全なマルチ時間エンジニアリング要求である。
タスクは、エンジニアリング作業の4つのファミリーと9つの言語にまたがっており、その中には、off-scratchビルドと既存のオープンソースコードベースの両方が含まれます。
9つのフロンティアモデル全体で、最強のモデルは18.5%しか解決できず、69タスクのうち38タスクはどのモデルでも解決されない。
われわれはMulti-step SWEをhttps://multistepswe.com.comで公開しています。
関連論文リスト
- MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - LoopsBench: From Harness Engineering to Loop Engineering in Benchmarking Coding Agent [60.27239351179265]
LOOPSBENCHは、符号化エージェント評価におけるループエンジニアリングのベンチマークである。
8つのプログラミング言語と9つのドメインにまたがる、本物のソースからの112のタスクで構成されている。
フロー対応ランタイムは、準備されたフロンティアに沿ってテストをリリースし、レグレッション義務として完了したノードを保持します。
論文 参考訳（メタデータ） (2026-07-31T20:18:25Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。
エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。
モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
論文 参考訳（メタデータ） (2026-05-05T09:17:02Z) - KISS Sorcar: A Stupidly-Simple General-Purpose and Software Engineering AI Assistant [8.273738980475393]
KISS Sorcarは、KISS Agent Framework上に構築された汎用アシスタントおよび統合開発環境である。
KISS Sorcarは無償のオープンソースVisual Studio Codeエクステンションで、ローカルで、長期タスクに対して効果的に実行される。
システム全体が4.5ヶ月で自力で構築され、継続的ストレステストが実施され、エージェントが導入したバグが直ちに機能する能力が損なわれる。
論文 参考訳（メタデータ） (2026-04-26T17:59:06Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios [6.776894728701934]
AIコーディングエージェントの既存のベンチマークでは、バグの修正や小さな機能の実装など、独立した単一課題のタスクに重点を置いている。
SWE-EVO(SWE-EVO)は、長期的ソフトウェア進化課題におけるエージェントの評価を行うベンチマークである。
ツールには48の進化タスクが含まれており、エージェントは平均21ファイルにまたがる複数ステップの修正を行う必要がある。
論文 参考訳（メタデータ） (2025-12-20T19:08:15Z) - Web-Bench: A LLM Code Benchmark Based on Web Standards and Frameworks [6.303398878886812]
我々は、50のプロジェクトを含む新しいベンチマークであるWeb-Benchを提案し、それぞれが連続的な依存関係を持つ20のタスクで構成されている。
Web 開発の基本要素である Web 標準と Web フレームワークをカバーすることを目指しています。
ベンチマークエージェント(Web-Agent)では、SOTA(Claude 3.7 Sonnet)が25.1%のPass@1しか達成せず、SWE-Benchの検証(65.4%)とFull(33.8%)のスコアよりも大幅に低い(ベター)。
論文 参考訳（メタデータ） (2025-05-12T12:06:23Z) - BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。
評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。
そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文 参考訳（メタデータ） (2024-06-22T15:52:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。