論文の概要: AgentSWE: Can Coding Agents Build the Agent You Actually Want?

• arxiv url: http://arxiv.org/abs/2610.13361v1
• Date: Fri, 09 Oct 2026 10:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.537944
• Title: AgentSWE: Can Coding Agents Build the Agent You Actually Want?
• Title（参考訳）: AgentSWE: コーディングエージェントは本当に欲しがるエージェントを作ることができるか?
• Abstract要約: 本稿ではエージェント開発ライフサイクルの3段階にまたがるエージェントソフトウェアエンジニアリングのベンチマークであるエージェントSWEを紹介する。 25のタスクはそれぞれ、試験ではなく委員会としてフレーム化されている。 要求が要求するものを提供するにはほど遠いものはありません。
• 参考スコア（独自算出の注目度）: 27.064072390170466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the production of software passes into the hands of software itself, coding agents are increasingly commissioned to build agents fitted to their users' own workflows. This delegation carries a quiet assumption, that the delivered agent will faithfully serve the requirement it was built for, rather than merely appear to. No existing benchmark tests that assumption. We introduce AgentSWE, a benchmark for agent software engineering spanning three stages of the agent development lifecycle: Creation of a complete agent from a natural-language requirement, Editing of production agent codebases, and Optimization toward a measurable target. Each of its 25 tasks is framed as a commission rather than an exam: the builder iterates against a handful of illustrative cases, while acceptance exercises the frozen submission on held-out cases designed to span the full requirement, grading behavior against requirement-derived rubrics under hard pass/fail gates or, for Optimization, against the source benchmark's own objective. Evaluating a range of coding agents across models and harnesses, we find that none comes close to delivering what a requirement asks for: the gap between what a builder demonstrates and what it delivers is the norm, not the corner case. An accompanying empirical analysis of the failure trajectories identifies recurring failure modes, among them overfitting to the visible cases, hollow runtimes behind code that looks complete, and unsupported claims of completion, each a signal by which coding agents can learn to build the agents they are asked for.
• Abstract（参考訳）: ソフトウェアの生産がソフトウェア自体の手に渡るにつれて、コーディングエージェントは、ユーザのワークフローに適合するエージェントを構築するよう、ますます依頼されている。 このデリゲートは、提供されたエージェントが単に現れるのではなく、構築された要件を忠実に果たすという静かな前提を持っています。 その仮定で既存のベンチマークテストは行いません。 本稿では,エージェント開発ライフサイクルの3段階にまたがるエージェントソフトウェアエンジニアリングのベンチマークであるAgentSWEを紹介する。 各25のタスクは試験ではなくコミッショナーとして構成されている: ビルダーは、いくつかの図案的なケースに対して反復し、受理は、完全な要件にまたがるように設計された保持されたケースに対して凍結された提出を行い、ハードパス/フェイルゲートの下で要求から派生したルーリックや最適化のために、ソースベンチマークの目的に対して、動作を格付けする。 モデルやハーネスにまたがるさまざまなコーディングエージェントを評価すると、要求が要求するものを提供するにはほど遠いものはありません。 フェール・トラジェクトリの付随する経験的な分析では、繰り返し発生する障害モードが識別され、それらのうちの1つは、可視的ケース、コードの背後にある空洞ランタイム、そして完了のクレームに過度に適合し、それぞれが要求されるエージェントを構築するためにコーディングエージェントが学ぶことができるシグナルである。

関連論文リスト

• E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch [22.683140191384652]
  コーディングエージェントが完全に機能するソフトウェアリポジトリをエンドツーエンドに構築できるかどうかを評価するベンチマークであるE2E-SWEを紹介する。 E2E-SWEは、11のプログラミング言語にまたがる186のリポジトリ生成タスクを含んでいる。 Pass@1は11.7%から67.7%の範囲である。
  論文  参考訳（メタデータ） (2026-09-29T18:02:25Z)
• Reality Is the Final Verifier: On Two Key Gaps in Agentic Software Engineering [78.51705689800838]
  本稿では, 要求, モデル, 評価器の見直しに, 展開証拠を用いた保証・修正ループを提案する。 そこで我々は,人的判断,エージェント能力,計算能力に対する資源配分問題としてエージェント開発を保証した。
  論文  参考訳（メタデータ） (2026-09-10T17:58:48Z)
• ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders [26.859032352714276]
  本稿では,インタラクティブなプロジェクト構築環境下でのコーディングエージェント評価ベンチマークICAE-Benchを紹介する。 基本的な考え方はファジィな製品要件から始め、自動化されたUser Agentで動的パラダイムをシミュレートすることです。 ICAE-Benchは、機能的正当性、セマンティックおよびAPI類似性、構造的忠実性、設計品質、相互作用品質などの多次元診断と共に標準化されたブラックボックステストを使用する。
  論文  参考訳（メタデータ） (2026-07-23T11:31:38Z)
• The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
  本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。 評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。 メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
  論文  参考訳（メタデータ） (2026-06-03T04:58:17Z)
• Code as Agent Harness [107.31925305395957]
  新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。 コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。 この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
  論文  参考訳（メタデータ） (2026-05-18T17:59:03Z)
• Can Coding Agents Be General Agents? [1.1470070927586018]
  コーディングエージェントがエンド・ツー・エンドのビジネスプロセス自動化にうまく応用できるかどうかを検討する。 エージェントは簡単なタスクを確実に完了させるが、複雑なタスクに特有の障害を示す。
  論文  参考訳（メタデータ） (2026-04-10T22:39:51Z)
• AgentMesh: A Cooperative Multi-Agent Generative AI Framework for Software Development Automation [0.0]
  ソフトウェア開発タスクの自動化に複数のLCMエージェントを併用したPythonベースのフレームワークを提案する。 AgentMeshでは、Planner、Coder、Debugger、Reviewerといった特殊なエージェントが協力して、ハイレベルな要件を完全に実現されたコードに変換する。
  論文  参考訳（メタデータ） (2025-07-26T10:10:02Z)
• Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement [112.04307762405669]
  G"odel AgentはG"odelマシンにインスパイアされた自己進化型フレームワークである。 G"odel Agentは、パフォーマンス、効率、一般化性において手作業によるエージェントを上回る、継続的な自己改善を実現することができる。
  論文  参考訳（メタデータ） (2024-10-06T10:49:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。