論文の概要: Correct Code, Broken Contributions? SWE-CC: Benchmarking Repository Policy Compliance for Coding Agents
- arxiv url: http://arxiv.org/abs/2610.06193v1
- Date: Mon, 05 Oct 2026 12:08:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 18:00:21.064366
- Title: Correct Code, Broken Contributions? SWE-CC: Benchmarking Repository Policy Compliance for Coding Agents
- Title（参考訳）: SWE-CC: コーディングエージェントに対するリポジトリポリシーコンプライアンスのベンチマーク
- Abstract要約: 自律型ソフトウェア工学におけるコードとプロセスコンプライアンスを評価するベンチマークであるSWE-CCを紹介する。
私たちは、12のオープンソースリポジトリにまたがる開発者ドキュメントを823のマシンチェック可能なアトミックポリシーに変換する半自動パイプラインを開発しています。
我々は、SWE-bench Verifiedから拡張された500のエンドツーエンドソフトウェアコントリビューションタスクにおけるエージェントのコンプライアンスを評価する。
- 参考スコア（独自算出の注目度）: 4.76732345735451
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous coding agents now resolve a substantial share of real-world GitHub issues. However, passing functional tests differs fundamentally from producing a high-quality contribution acceptable for merging. Mature open-source projects publish repository-specific contribution policies, spanning style, git, testing workflows, to ensure code quality and long-term maintainability. Because existing benchmarks evaluate patches solely on unit tests, agent compliance with repository governance remains unknown. In this paper, we introduce SWE-CC, a benchmark evaluating code and process compliance in autonomous software engineering. We develop a semi-automated pipeline that converts developer documentation across 12 open-source repositories into 823 machine-checkable atomic policies. SWE-CC introduces two features: 1) lightweight, deterministic checker functions that represent each policy, 2) a comprehensive auditing mechanism that inspects both agent runtime behaviors and final deliverables. We evaluate the compliance of agent workflows in 500 end-to-end software contribution tasks extended from SWE-bench Verified. Our evaluation of four LLMs under two agent scaffolds shows that modern agents suffer from coding compliance issues: although agents produce functionally correct patches, they still violate 43.1 percent of applicable project policies, with nearly half of all violations occurring during intermediate execution steps. These results show that functional correctness does not guarantee real-world readiness, highlighting that future software engineering agents must reliably conform to repository governance to enable safe and trustworthy deployment.
- Abstract（参考訳）: 自動化コーディングエージェントは、現実のGitHub問題の大部分を解決している。
しかし、機能テストの通過は、マージに許容される高品質なコントリビューションの生成と根本的に異なる。
成熟したオープンソースプロジェクトは、コード品質と長期的な保守性を保証するために、リポジトリ固有のコントリビューションポリシ、スタイル、git、テストワークフローを公開する。
既存のベンチマークでは、単体テストのみにパッチを評価するため、リポジトリガバナンスに対するエージェントのコンプライアンスは依然として不明である。
本稿では,自律型ソフトウェア工学におけるコードとプロセスコンプライアンスを評価するベンチマークSWE-CCを紹介する。
私たちは、12のオープンソースリポジトリにまたがる開発者ドキュメントを823のマシンチェック可能なアトミックポリシーに変換する半自動パイプラインを開発しています。
SWE-CCは2つの特徴を導入した。
1)各方針を表す軽量な決定論的チェッカー機能。
2)エージェントの実行動作と最終成果物の両方を検査する包括的な監査機構。
SWE-bench Verifiedから拡張された500のエンドツーエンドソフトウェアコントリビューションタスクにおけるエージェントワークフローのコンプライアンスを評価する。
エージェントは機能的に正しいパッチを生成するが、適用可能なプロジェクトポリシーの43.1%は違反しており、その半数近くは中間実行段階で発生している。
これらの結果は、機能的正しさが現実の即応性を保証するものではないことを示しており、将来のソフトウェアエンジニアリングエージェントは、安全で信頼性の高いデプロイメントを可能にするために、リポジトリガバナンスに確実に準拠する必要があることを強調している。
関連論文リスト
- E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch [22.683140191384652]
コーディングエージェントが完全に機能するソフトウェアリポジトリをエンドツーエンドに構築できるかどうかを評価するベンチマークであるE2E-SWEを紹介する。
E2E-SWEは、11のプログラミング言語にまたがる186のリポジトリ生成タスクを含んでいる。
Pass@1は11.7%から67.7%の範囲である。
論文 参考訳（メタデータ） (2026-09-29T18:02:25Z) - CodeMidas: Scaling Agentic Coding RL Environments from Code Itself [55.204742661138745]
強化学習(RL)による有能な符号化エージェントの訓練には、信頼性のある検証器による多様なタスクが必要である。
オープンソースはそのようなタスクの豊富なソースを提供するが、既存のメソッドは通常、問題やコミットのような開発成果物に依存している。
我々は,既存の実装機能を,ソースコードを唯一のタスク固有の入力として使用して実行可能なRL環境に変換するエージェントパイプラインであるCodeMidasを紹介する。
論文 参考訳（メタデータ） (2026-09-18T17:55:17Z) - SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - Vero: Can AI Agents Build Formally Verified Software Repositories? [45.09790101960906]
Veroはリポジトリレベルで共同実装と証明を評価する最初のベンチマークである。
Python、Dafny、Verus、Coqにまたがる実世界のリポジトリから43のマルチモジュールインスタンスが含まれている。
ベンチマークの信頼性を改善するため、Veroには、エージェントが提供された仕様の不満足さを正式に証明できる監査メカニズムも含まれている。
論文 参考訳（メタデータ） (2026-08-13T17:41:27Z) - FeatureBench: Benchmarking Agentic Coding for Complex Feature Development [42.26354337364403]
FeatureBenchは、エンドツーエンドのフィーチャ指向ソフトウェア開発におけるエージェントコーディングのパフォーマンスを評価するために設計されたベンチマークである。
実行ベースの評価プロトコルと、人間の最小限の労力でコードリポジトリからタスクを自動的に引き出す、スケーラブルなテスト駆動メソッドが組み込まれている。
実証的な評価により、クロード4.5オプスのような最先端のエージェントモデルがSWEベンチで74.4%の解決率を達成することが明らかになった。
論文 参考訳（メタデータ） (2026-02-11T16:06:32Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - NL2Repo-Bench: Towards Long-Horizon Repository Generation Evaluation of Coding Agents [79.29376673236142]
既存のベンチマークは、完全なソフトウェアシステムを構築するのに必要な長期的能力の厳格な評価に失敗する。
符号化エージェントの長期リポジトリ生成能力を評価するために設計されたベンチマークであるNL2Repo Benchを提案する。
論文 参考訳（メタデータ） (2025-12-14T15:12:13Z) - Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios [13.949319911378826]
この調査は、500の現実のGitHubイシューで上位10のエージェントから4,892のパッチを評価した。
一人のエージェントが支配的であり、170の問題が未解決であり、改善の余地があった。
ほとんどのエージェントはコードの信頼性とセキュリティを維持し、新しいバグや脆弱性を避けた。
一部のエージェントはコードの複雑さを増し、多くの重複を減らし、コードの臭いを最小限にした。
論文 参考訳（メタデータ） (2024-10-16T11:33:57Z) - Alibaba LingmaAgent: Improving Automated Issue Resolution via Comprehensive Repository Exploration [64.19431011897515]
本稿では,問題解決のためにソフトウェアリポジトリ全体を包括的に理解し,活用するために設計された,新しいソフトウェアエンジニアリング手法であるAlibaba LingmaAgentを提案する。
提案手法では,重要なリポジトリ情報を知識グラフに凝縮し,複雑さを低減し,モンテカルロ木探索に基づく戦略を採用する。
Alibaba Cloudの製品展開と評価において、LingmaAgentは、開発エンジニアが直面した社内問題の16.9%を自動で解決し、手作業による介入で43.3%の問題を解決した。
論文 参考訳（メタデータ） (2024-06-03T15:20:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。