論文の概要: Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead
- arxiv url: http://arxiv.org/abs/2609.17394v1
- Date: Tue, 15 Sep 2026 16:29:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.617844
- Title: Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead
- Title（参考訳）: コーディングエージェントが収束した: SWE-benchのリーダーボードがなぜトップエンターテイメントを発注できないのか、そして何を測定するべきか
- Abstract要約: コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。
モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。
パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
- 参考スコア（独自算出の注目度）: 9.25138311822007
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Small differences on coding-agent leaderboards are often read as an ordering of systems. We audit whether the published verdicts support this reading, using 254 SWE-bench submissions across four splits without running models. On Verified, the leading two entries each resolve 396 of 500 instances. The top ten share 285 successes and 51 failures, leaving 164 instances that distinguish their outcomes. Frontier solution sets have median nesting 0.935 against a score-implied baseline of 0.774, indicating strongly shared successes. Scores also depend on the evaluated model-scaffold pair: observed within-model scaffold ranges reach 29.8 percentage points, compared with the 8.8-point spread of the top thirty. Six of nine cell-mean interaction tests remain significant after Holm correction, although this observational design does not identify causal scaffold effects. Exact paired McNemar tests separate none of the 29 adjacent Verified top-thirty pairs at alpha=0.05, while the larger Test split separates 14 of 23. A stated leader-based rule yields three descriptive tiers, or two after Holm correction; non-rejection does not establish equivalence. We release the partition and a five-step audit protocol that profiles shared outcomes, tests paired differences, reports grouping sensitivity, and estimates the instance budget needed for resolution. The results motivate reporting comparison-set-specific resolution and model-scaffold provenance instead of interpreting small aggregate gaps as established rank differences.
- Abstract（参考訳）: コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。
モデルを実行せずに4つの分割で254のSWEベンチを提出し,この読解をサポートするかどうかを検証した。
検証では、先頭の2つのエントリはそれぞれ500インスタンスの396を解決している。
トップ10は285の成功と51の失敗を共有し、成果を区別する164のインスタンスを残している。
フロンティア・ソリューション・セットはスコアで実装されたベースライン0.774に対して0.935を中央にネストし、成功を強く共有していることを示している。
スコアは評価されたモデルとスキャフォールドのペアにも依存しており、上位30点の8.8ポイントのスプレッドと比較すると、モデル内の足場範囲は29.8ポイントに達する。
ホルム補正後,9つの細胞平均相互作用試験のうち6つは有意なものであるが,この観察設計は因果足場効果を同定していない。
厳密なペアのマクネマール試験では、アルファ=0.05で隣接する29の検証されたトップサーティーペアのうち、どれも分離せず、大きなテストは23の14を分離した。
指示された指導者に基づく規則は、ホルムの修正後に3つの記述的階層、または2つの結果をもたらす。
パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
その結果, 比較集合特異的分解能とモデルスキャフォールド証明を, 確立された階級差として小さな集合ギャップを解釈する代わりに, 報告する動機付けとなった。
関連論文リスト
- Beyond QA Matching: Perturbation-Response Fingerprinting via Probability Distributions for Large Language Models [12.84004924761875]
BReFは,4つの回答選択ラベルA/B/C/D上の確率分布を,制御摂動下での確率分布と比較した無訓練指紋である。
34個のチェックポイント、22個の直接親関係、および411個の疑似候補対を持つ統一されたベンチマークにおいて、BReFは22/22のケースで文書化された親を検索する。
同じ家族による差別は困難であり、ペアリングテストではTop-25コントロールよりも精度の高い精度が向上している。
論文 参考訳（メタデータ） (2026-09-06T01:35:07Z) - K-Bench: measuring model performance on real scientific agent requests [0.0]
K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。
3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。
39,934点中47.6%が8点を下回った。
論文 参考訳（メタデータ） (2026-08-21T20:06:08Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳（メタデータ） (2026-08-12T07:07:57Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳（メタデータ） (2026-07-30T16:41:40Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Scaffold splits hide structural-frontier failures in ADMET models [25.408600489964726]
我々は,最も広く,最も物理化学的に遠隔的な足場群を予約するラベルフリーな構造フロンティアスプリットを導入する。
ADMETタスクを6つの公開実験またはキュレートしたADMETタスクで評価した。
論文 参考訳（メタデータ） (2026-07-12T12:25:50Z) - When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。
判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。
大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
論文 参考訳（メタデータ） (2026-07-09T02:46:51Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳（メタデータ） (2026-06-03T17:06:49Z) - Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation [0.0]
連鎖忠実性に関する最近の研究は、単一集合数について報告している。
本論文は、忠実性はモデルの客観的かつ測定可能な性質ではないことを示す。
論文 参考訳（メタデータ） (2026-03-20T17:48:43Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。