論文の概要: SWE-Nexus: Automated Composition of Software Engineering Tasks from Test Execution
- arxiv url: http://arxiv.org/abs/2610.20038v1
- Date: Wed, 14 Oct 2026 11:45:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.127639
- Title: SWE-Nexus: Automated Composition of Software Engineering Tasks from Test Execution
- Title(参考訳): SWE-Nexus:テスト実行からソフトウェアエンジニアリングタスクの自動構成
- Abstract要約: SWE-Nexusは、テスト実行からリポジトリレベルの実装タスクを構築する、完全に自動化されたパイプラインである。
選択されたテストファイルごとに、トレースは、プロダクション機能体の観察された実行フットプリントを記録する。
ベンチマークには、6つのプログラミング言語にわたる105リポジトリから600のタスクが含まれている。
- 参考スコア(独自算出の注目度): 20.710541269823082
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Historical code changes provide convenient task boundaries, but do not identify which production functions selected tests exercise or support composing validated behaviors beyond a single change. We present SWE-Nexus, a fully automated pipeline that constructs repository-level implementation tasks from test execution. Four construction agents select tests, adapt tracing and evaluation protocols to each repository, and generate behavioral specifications. For each selected test file, tracing records an observed execution footprint of production function bodies. A scope is retained only if all expected scoring points pass in the original repository and masking the traced bodies causes at least one failure or error. Compatible scopes are composed deterministically, with shared functions counted once and every constituent test file revalidated under the complete combined mask. The benchmark contains 600 tasks from 105 repositories across six programming languages, including 116 atomic and 484 composite tasks. We evaluate 12 models under three agent scaffolds. The best configuration resolves 37.8% of tasks in one attempt, and scope-weighted scoring measures partial recovery. SWE-Nexus enables task construction from validated behavior beyond individual historical changes.
- Abstract(参考訳): 過去のコードの変更は、便利なタスク境界を提供するが、どのプロダクション機能がどのテストを実行するかを特定したり、単一の変更を超えて検証された振る舞いを構成するのをサポートすることはない。
テスト実行からリポジトリレベルの実装タスクを構築する完全自動化パイプラインであるSWE-Nexusを提案する。
4つのコンストラクタがテストを選択し、各リポジトリにトレースと評価プロトコルを適用し、振る舞い仕様を生成する。
選択されたテストファイルごとに、トレースは、プロダクション機能体の観察された実行フットプリントを記録する。
スコープは、全ての期待得点ポイントが元のレポジトリに合格し、トレースされたボディを隠蔽すると、少なくとも1つの失敗またはエラーが発生する場合にのみ保持される。
互換性のあるスコープは決定論的に構成され、共有関数は一度カウントされ、すべての構成テストファイルは完全な複合マスクの下で再検証される。
ベンチマークには6つのプログラミング言語にわたる105のリポジトリから600のタスクが含まれており、116のAtomicタスクと484の複合タスクが含まれている。
我々は3つのエージェント足場の下で12のモデルを評価する。
最高の設定は1回の試行で37.8%のタスクを解決し、スコープ重み付けスコアは部分的な回復を測る。
SWE-Nexusは、個々の履歴変更を超えた検証された動作からタスク構築を可能にする。
関連論文リスト
- ANCHOR: Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding [37.56127721120043]
ANCHOR(Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding)は、自然主義の多言語リポジトリタスクをベースとしたベンチマークである。
ANCHORは、(i)実際の開発者インタラクションから抽出された10のカテゴリと78の葉型の階層的な分類、(ii)タスク基底の原子的制約をインスタンス化し、それらを型付きおよび/THEN/PRIORITY関係に構成する自動パイプライン、(iii)軌道基底の評価フレームワークを組み合わせる。
論文 参考訳(メタデータ) (2026-10-12T14:28:38Z) - FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration [3.4732047142551288]
FDE-BenchはDockerイメージ、マルチサービスComposeスタック、診断・修復モードにまたがるデプロイメント設定タスクを評価している。
エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。
準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
論文 参考訳(メタデータ) (2026-09-23T08:51:01Z) - SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving [20.264552597118207]
SWE-Serveは、プロダクション推論エンジニアリングタスクのエージェントを評価するためのベンチマークである。
SWE-Serveは、タスクをローカルに完了し、プロダクションの正確性を達成するための大きなギャップを露呈する。
論文 参考訳(メタデータ) (2026-09-22T17:54:59Z) - VibeMemBench: Evaluating Memory Systems for Coding Agents on Real Repository Coding Tasks [74.71365175490853]
我々は90のSWE-rebench V2レポジトリから111のコーディングターゲットのメモリシステムを評価するベンチマークであるVibeMemBenchを紹介する。
ターゲットはSWEベンチマークスタイルに従い、バグ修正、機能要求、インターフェースの変更、設定作業をカバーする。
ダイレクトインジェクションは、4つのタスクの解像度を1.1から4.5ポイント引き上げ、エージェントステップを5つに下げる。しかし、4つの既存のメモリシステムが同じ履歴から経験を構築・取得しなければならない場合、12のソルバのうち11のシステムペアリングは一致したメモリオフベースラインを超えない。
論文 参考訳(メタデータ) (2026-09-20T11:44:03Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳(メタデータ) (2026-09-17T01:24:51Z) - SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳(メタデータ) (2026-09-03T17:53:34Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳(メタデータ) (2026-07-23T04:34:06Z) - SWE-Cycle: Benchmarking Code Agents across the Complete Issue Resolution Cycle [46.833916047516716]
SWE-Cycleは、489の厳格な自動コードエージェントのインスタンスのベンチマークである。
SWE-Judgeは静的コードレビューと動的テストを組み合わせて機能的正当性を正確に検証する。
その結果、分離されたタスクからFullCycle実行に移行する際の解決率の急落が明らかになった。
論文 参考訳(メタデータ) (2026-05-13T08:05:16Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳(メタデータ) (2025-02-12T21:42:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。