論文の概要: SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
- arxiv url: http://arxiv.org/abs/2610.12569v1
- Date: Thu, 08 Oct 2026 18:01:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.240258
- Title: SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
- Title（参考訳）: SWE-Duel: コーディングエージェントのための自己スケーリングアリーナを目指して
- Abstract要約: 1500ターンの5言語で15のリポジトリで、11人のモデルハーネス参加者の間でトーナメントを開催しています。
Codex CLI の GPT-5.5 が最強の解決法として最初にランクインし、レビューした欠陥の98.3%を修復した。
1つのモデルファミリー内では、最新のバージョンによって書かれたタスクが、古いバージョンよりもはるかに頻繁に固定参照解決器を倒す。
- 参考スコア（独自算出の注目度）: 9.502686818788131
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Static coding benchmarks are fixed at release. Over time their tasks leak into training data, and stronger agents eventually saturate them. We argue that a benchmark should instead aim to be self-scaling: its tasks and oracles are created at evaluation time, so no content exists in advance to leak, and its difficulty is set by the participating agents rather than fixed at release. We introduce SWE-Duel, an arena in which two coding agents evaluate each other over mirrored Red-Blue turns. In each turn, the Red agent works on a real repository across three context-isolated sessions. It proposes and implements a new feature with feature tests, then embeds a subtle bug in that feature along with sealed bug-triggering tests. The resulting pull request is admitted only if (1) it passes the feature tests and the repository's existing tests while failing exactly the bug tests, and (2) a fresh session of the same agent can repair the bug blind, which rules out unsolvable tasks. The Blue agent then reviews the pull request without being told a bug exists. It wins only if its revision passes all three test suites, and then the two agents swap roles. We run a tournament among 11 model-harness participants on 15 repositories in five languages for 1,500 turns. The leaders win in different ways. GPT-5.5 with Codex CLI ranks first as the strongest solver, repairing 98.3% of the defects it reviews. Claude Opus 4.8 with mini-swe-agent ranks second as the strongest task author, with a 27.3% Red win rate. Finally, within one model family, tasks written by the newest version defeat a fixed-reference solver far more often than those of older versions (42.9% vs. 4.0%), giving preliminary evidence that task difficulty scales with task authoring capability.
- Abstract（参考訳）: 静的コーディングベンチマークはリリース時に修正される。
時間が経つにつれて、タスクがトレーニングデータに漏れ、強いエージェントが最終的に飽和する。
ベンチマークは自己スケーリングを目標とすべきであり、そのタスクとオーラクルは評価時に作成されるので、リーク前にコンテンツは存在せず、リリース時に固定されるのではなく、参加エージェントによってその困難が設定される。
SWE-Duelは、2つの符号化エージェントが互いにミラー化された赤青のターンで評価するアリーナである。
それぞれのターンで、Redエージェントは3つのコンテキスト分離セッションにわたる実際のリポジトリで動作する。
機能テストを伴う新機能の提案と実装を行い、その機能に微妙なバグを埋め込むとともに、密封されたバグトリガテストも実施する。
結果のプルリクエストは、(1)機能テストとリポジトリの既存のテストを正確に失敗しながらパスし、(2)同じエージェントの新たなセッションがバグブラインドを修復できる場合にのみ許可される。
Blueエージェントは、バグを知らせることなくプルリクエストをレビューする。
3つのテストスイートをすべてパスし、2つのエージェントがロールをスワップした場合にのみ勝利する。
1500ターンの5言語で15のリポジトリで、11人のモデルハーネス参加者の間でトーナメントを開催しています。
リーダーは異なる方法で勝利します。
GPT-5.5ではCodex CLIが最強の解法となり、レビューした欠陥の98.3%を修復した。
クロード・オプス4.8とミニ・スウィー・エイジェントが2位となり、27.3%のレッドが勝利した。
最後に、1つのモデルファミリー内では、最新のバージョンによって書かれたタスクが、古いバージョンのタスクよりもはるかに頻繁に固定参照ソルバ(42.9%対4.0%)を破り、タスクオーサリング能力によってタスクの難易度がスケールするという予備的な証拠を与える。
関連論文リスト
- Can LLMs Fix It Without Code? Toward Automated Verification of No-Code Bug Fixes [1.4465033892011254]
ノーコード修正は、ユーザが設定を変更したり、すでに修正済みのバージョンにアップデートしたり、ワークフローを調整したりすることで、無効なバグレポートを解決します。
本研究では,大規模言語モデルによる実ブラウザ環境におけるコード修正生成能力を評価するための,自動実行ベースのパイプラインを提案する。
論文 参考訳（メタデータ） (2026-10-08T13:44:53Z) - TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - CART: Closed-Loop Adaptive Red Teaming for Large Language Models [91.66397227953821]
CART(Closed-Loop Adaptive Red Teaming)は、各結果を使用して、次にテストするものをガイドするフレームワークである。
テストを生成するChallengeと、テスト中のTarget、テキストのみのモデルや境界ツール使用エージェント、結果を評価するJuiceを分離する。
論文 参考訳（メタデータ） (2026-09-23T04:16:46Z) - GameLogicBench: Evaluating Coding Agents on Runtime Game Logic with Tick-Level State Assertions [37.944046267001745]
コーディングエージェントは、大規模なソフトウェアプロジェクト間でコードを変更およびテストすることができる。
現在のゲーム開発ベンチマークでは、固定された例を再生したり、ビデオをスコアしたり、他のモデルに結果の判断を依頼する。
我々はGodotプロジェクトにおける72のゲームプレイ論理タスクのベンチマークであるGameLogicBenchを紹介する。
論文 参考訳（メタデータ） (2026-09-18T09:51:41Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳（メタデータ） (2026-07-07T15:41:22Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。