論文の概要: ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases
- arxiv url: http://arxiv.org/abs/2611.13246v1
- Date: Mon, 09 Nov 2026 21:20:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.600827
- Title: ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases
- Title(参考訳): ExpertCrowd-SWE: 未知のコードベースにおけるエキスパート認定エンジニアリングタスクにおけるフロンティアコーディングエージェントの測定
- Abstract要約: ExpertCrowd-SWEは、100名の専門家によるマルチファイルソフトウェアエンジニアリングタスクのベンチマークである。
各タスクは、実際のリポジトリのピン留めされたコミットに対して、実践的なエンジニアによって書かれた変更要求である。
タスクは87のオープンソースプロジェクトと11の言語にまたがる。
- 参考スコア(独自算出の注目度): 0.4253810477898188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ExpertCrowd-SWE (EC-SWE) is a benchmark of 100 expert-authored, multi-file software engineering tasks for evaluating autonomous coding agents in large, unfamiliar codebases. Each task is a change request written by a practising engineer against a pinned commit of a real repository, paired with a sealed reference solution and a task-specific grader whose weighted, mostly executable criteria award partial credit; must-pass blockers and pass/fail gates encode what a maintainer would refuse to merge. The tasks span 87 open-source projects and 11 languages. The median ticket is 148 words, while the median reference solution changes 471 lines. Every task image is calibrated before release so that the reference solution scores 1.0 and both the untouched repository and an inert change score 0; nearly half of the tasks also ship alternative, lazy and adversarial control patches that the grader must classify correctly. The final 100 tasks were selected for difficulty against current frontier models. We evaluate seven frontier models, five runs each (3,495 scored runs), in a single platform harness that gives each model its provider-native tool interface. Claude Opus 5.5 (67.3%) and GPT-6 Astra (63.7%) lead without a statistically significant gap, followed by Claude Fable 5.1 (46.5%), Gemini 3.8 Flash (40.0%), and a statistically indistinguishable group of Qwen 3.8 Max, DeepSeek V4.1 Flash and Grok 4.6 (32-34%). No task is fully solved by every model, and on 80 tasks no model earns full credit on all five runs. Scores span 35 points. Depending on the model, agents take a median of 33 to 166 steps per run, with little relation to score. We release 24 tasks with their environments, graders and results, and hold out 76 to limit contamination.
- Abstract(参考訳): ExpertCrowd-SWE (EC-SWE) は、100名の専門家によって認可された多ファイルソフトウェアエンジニアリングタスクのベンチマークである。
それぞれのタスクは、実際のレポジトリのピン留めされたコミットに対して、実践エンジニアによって書かれた変更要求であり、シールされた参照ソリューションと、重み付けされた、主に実行可能基準の偏りを付与したタスク固有のグレードラーとが組み合わされ、マスターパスブロッカーとパス/フェイルゲートが、メンテナがマージすることを拒否するものをエンコードする。
タスクは87のオープンソースプロジェクトと11の言語にまたがる。
中央値の改札は148語、中央値の基準解は471行である。
各タスクイメージは、リリース前に校正され、参照ソリューションが1.0、未タッチのレポジトリと不活性な変更スコア0の両方をスコアする。
最終100のタスクは、現在のフロンティアモデルに対する困難のために選択された。
7つのフロンティアモデル、それぞれ5つの実行(3,495回の実行)を単一のプラットフォームハーネスで評価し、各モデルにプロバイダネイティブなツールインターフェースを提供します。
Claude Opus 5.5 (67.3%) と GPT-6 Astra (63.7%) は統計的に有意な差がなく、Claude Fable 5.1 (46.5%)、Gemini 3.8 Flash (40.0%)、Qwen 3.8 Max、DeepSeek V4.1 Flash、Grok 4.6 (32-34%) の統計的に区別できないグループがある。
タスクはすべてのモデルによって完全に解決されず、80のタスクでは、モデルが5つの実行でフルクレジットを得ることはない。
スコアは35点。
モデルによっては、エージェントは1ラン当たり33から166ステップの中央値を取るが、スコアとはほとんど関係がない。
環境、グレーダー、結果を含む24のタスクをリリースし、汚染を制限するために76を保留します。
関連論文リスト
- InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell? [3.2714937600999687]
InfraDevは現実世界のプルリクエストからMegatron-LM, vLLM, verlに構築された36のタスクのベンチマークである。
各タスクはエージェントに、多くのファイルにまたがる真の変更を再実装するよう要求する。
タスク間の依存関係やアーティファクトを再利用し,ストレージを52~57%削減し,Megatron-LMとvLLMでビルド時間を13~14%短縮する共有実行環境を設計する。
論文 参考訳(メタデータ) (2026-10-27T03:47:47Z) - FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration [3.4732047142551288]
FDE-BenchはDockerイメージ、マルチサービスComposeスタック、診断・修復モードにまたがるデプロイメント設定タスクを評価している。
エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。
準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
論文 参考訳(メタデータ) (2026-09-23T08:51:01Z) - A Governance-Aware Large Language Model Orchestrated Agentic Digital Twin for Transmission System Operator Control Room Decision Support [0.0]
本稿では,トランスミッショングリッド制御のためのガバナンス対応ディジタルツインを提案する。
大きな言語モデルはホワイトリストの分析ツールを選択・パラメータ化するのみである。
提案されたすべてのアクションは、モデルをバイパスできないガバナンス層を通過します。
論文 参考訳(メタデータ) (2026-09-18T18:35:57Z) - SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。
4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
論文 参考訳(メタデータ) (2026-09-02T07:31:18Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳(メタデータ) (2026-07-08T21:45:34Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳(メタデータ) (2026-05-11T17:49:43Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳(メタデータ) (2026-05-08T09:30:31Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳(メタデータ) (2026-04-26T16:05:02Z) - Comparing AI Coding Agents: A Task-Stratified Analysis of Pull Request Acceptance [4.424336158797069]
この記事では、AIを利用した一般的な5つのコーディングアシスタント(OpenAI Codex、GitHub Copilot、Devin、Cursor、Claude Code)を比較します。
デビンは受容率において唯一一貫した正の傾向を示す(32週間で週0.77%以上)。
分析の結果,PRタスクタイプが受入率に影響を及ぼす主要な要因であることが示唆された。
論文 参考訳(メタデータ) (2026-02-09T17:14:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。