論文の概要: SWE-Bench Pro V2: A Cleaner, Harder-to-Game Coding Benchmark

• arxiv url: http://arxiv.org/abs/2610.24206v1
• Date: Fri, 16 Oct 2026 20:26:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:14:54.317992
• Title: SWE-Bench Pro V2: A Cleaner, Harder-to-Game Coding Benchmark
• Title（参考訳）: SWE-Bench Pro V2: よりクリーンでゲーム間コーディングのベンチマーク
• Abstract要約: SWE-Bench Proは、コーディングエージェントのための長期ソフトウェアエンジニアリングタスクの広く使われているベンチマークである。 本稿では,SWE-Bench Pro V2について紹介する。
• 参考スコア（独自算出の注目度）: 40.223005979512486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: SWE-Bench Pro is a widely used benchmark of long-horizon software engineering tasks for coding agents. As agents improve, they reach task issues earlier agents never touched and interact with the evaluation environment in ways the original harness did not anticipate. We present SWE-Bench Pro V2, a revised public split built to keep the benchmark accurate as capabilities advance. Agentic audits, expert adjudication and blind re-implementation repaired or retired 480 of the 731 tasks: 23 contracted engineers spent 404 hours, each working in a language they write professionally, and every revised instruction was verified by a second engineer solving the task from the text alone. A hardened protocol restricts network access to the model endpoint and re-grades every patch in a clean container, so agents cannot retrieve upstream fixes or get credit for changes outside their patch. On the 642 V2 tasks frontier agents resolve up to 99.4% while other systems stay clearly separated, and a 51-task Hard split spreads systems from 52.9% to 98.0%. We release the benchmark and distill lessons for maintaining agent benchmarks over time.
• Abstract（参考訳）: SWE-Bench Proは、コーディングエージェントのための長期ソフトウェアエンジニアリングタスクの広く使われているベンチマークである。 エージェントが改善するにつれて、以前のエージェントは、元のハーネスが予想していなかった方法で、評価環境に触れたり操作したりしなかったタスク問題に到達した。 本稿では,SWE-Bench Pro V2について紹介する。 23人の契約エンジニアが404時間を費やし、それぞれがプロフェッショナルに書いた言語で作業し、修正されたすべての命令は、テキストだけでタスクを解決した2人目のエンジニアによって検証された。 強化されたプロトコルは、モデルエンドポイントへのネットワークアクセスを制限し、クリーンなコンテナ内のすべてのパッチを再グレードする。 642のV2タスクでは、フロンティアエージェントは99.4%まで解決し、他のシステムは明確に分離され、51タスクのハードスプリットは52.9%から98.0%に分散する。 ベンチマークをリリースし、時間をかけてエージェントベンチマークを維持するための蒸留レッスンを実施します。

関連論文リスト

• Maintaining Benchmarks Against Increasingly Capable Agents: Detection and Remediation of Unearned Passes [15.12761261423003]
  エージェントベンチマークは、モデルの選択とトレーニングをガイドする。しかしながら、エージェントは意図した能力を示すことなくタスクをパスすることができる。 エージェントが改善するにつれて、かつて無害と思われたベンチマークサーフェスは悪用され、ベンチマークの検証が進行中のメンテナンス問題となる。 本稿では,パストラジェクトリを監査し,証明された報酬ハッキングとバリデーションの弱点を識別するプロセス検証フレームワークを導入し,修復に有効な表面をローカライズする。
  論文  参考訳（メタデータ） (2026-09-28T04:07:52Z)
• SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring [31.684059339633013]
  SWE-Bench ProMax(SWE-Bench ProMax)は、実際のコミットから170のインスタンスを抽出した、専門家による多言語コードベンチマークである。 各インスタンスは厳格で多段階的なキュレーションを実行し、以前のベンチマークで特定された品質問題に対処する。 2つのエージェント足場下でのフロンティアモデルによる実験では、最良のモデルは41.2%しか解決できない。
  論文  参考訳（メタデータ） (2026-08-10T16:23:19Z)
• DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
  DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。 タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。 SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
  論文  参考訳（メタデータ） (2026-07-08T21:45:34Z)
• Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack [51.54835866517547]
  BenchJackは、コーディングエージェントがベンチマークを監査し、報酬をハックする可能性のあるエクスプロイトを識別するシステムである。 BenchJackを、ソフトウェアエンジニアリング、Webナビゲーション、デスクトップコンピューティング、端末操作にまたがる10の人気のあるエージェントベンチマークに適用する。 BenchJackは、単一のタスクを解決することなく、ほとんどのベンチマークでほぼ完璧なスコアを達成する報奨ハックのエクスプロイトを合成する。
  論文  参考訳（メタデータ） (2026-05-12T19:22:45Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
  我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。 我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。 11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
  論文  参考訳（メタデータ） (2026-03-25T19:26:44Z)
• Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
  Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。 ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。 将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
  論文  参考訳（メタデータ） (2026-01-17T01:29:30Z)
• SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios [6.776894728701934]
  AIコーディングエージェントの既存のベンチマークでは、バグの修正や小さな機能の実装など、独立した単一課題のタスクに重点を置いている。 SWE-EVO(SWE-EVO)は、長期的ソフトウェア進化課題におけるエージェントの評価を行うベンチマークである。 ツールには48の進化タスクが含まれており、エージェントは平均21ファイルにまたがる複数ステップの修正を行う必要がある。
  論文  参考訳（メタデータ） (2025-12-20T19:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。