論文の概要: DeltaSelect: Affordable A/B Testing for Coding Agents

• arxiv url: http://arxiv.org/abs/2609.19607v1
• Date: Thu, 17 Sep 2026 02:42:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.07185
• Title: DeltaSelect: Affordable A/B Testing for Coding Agents
• Title（参考訳）: DeltaSelect: コーディングエージェントのためのA/Bテスト
• Abstract要約: 本稿では,一貫した結果が一括ベンチマーク性能を常に追従するタスクを識別するオープンソース手法DeltaSelectを提案する。 DeltaSelectは、モデルランキングではなく、開発中のベースライン校正候補の比較を繰り返すことを意図している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding-agent benchmarks are built for broad and comprehensive comparisons, not frequent development decisions. Individual runs vary, full suites are expensive, and the benchmark harness may differ from the harness used in practice. In a resampling analysis of DeepSWE's published trials, only 19.5% of tasks (22 of 113) had a fifth-percentile Pearson correlation of at least 0.50 with full-benchmark performance. The paper presents DeltaSelect, an open-source method that identifies tasks whose one-run results consistently track full-benchmark performance using Pearson correlation, maps fractional verifier results to a common score using linear regression, and selects a fixed task set within a dollar budget. DeltaSelect is intended for repeated baseline-versus-candidate comparisons during development, not model rankings. In a gpt-5.6-luna low-reasoning case study, DeltaSelect was used to revise custom skills and instructions. Across 13 evaluations, the recorded cost was USD 27.86 at rates published August 16, 2026. The adopted version cost 58.1% less than the initial version (USD 1.75 versus USD 4.18; p=0.008), while the calibrated score was higher (42.36% versus 36.46%; published-analog variance p=0.326).
• Abstract（参考訳）: コーディングエージェントベンチマークは広範かつ包括的な比較のために構築されており、頻繁な開発判断ではない。 個々のランは異なり、フルスイートは高価であり、ベンチマークハーネスは実際に使用されるハーネスとは異なるかもしれない。 DeepSWEが公表した試験のサンプル分析では、タスクの19.5%(113件中22件)のみが5パーセントのピアソン相関を持ち、全ベンチマーク性能は0.50以上であった。 本稿では,Pearson相関を用いて一貫した結果が一貫した完全ベンチマーク性能を追跡するタスクを識別するオープンソース手法DeltaSelectについて,線形回帰を用いて分数検証結果を共通スコアにマップし,その固定タスクを1ドル予算内で選択する手法を提案する。 DeltaSelectは、モデルランキングではなく、開発中のベースライン-逆候補比較を繰り返すことを意図している。 gpt-5.6-luna低照度ケーススタディでは、デルタセレクトがカスタムスキルと指示の修正に使用された。 13回の試験で記録されたコストは、2026年8月16日に公表されたレートで27.86米ドルだった。 採用版は初期版(USD 1.75対USD 4.18; p=0.008)よりも58.1%安く、校正スコアは42.36%、36.46%、公表・アナログ分散p=0.326)高かった。

関連論文リスト

• A Statistical Audit of Physical AI Benchmark Redundancy [0.0]
  物理AIモデルは、モデルレポートによって異なるベンチマークスイートで評価され、モデルバイベンチマークマトリックスはスパースのままである。 51のベンチマークと152のモデルのレジストリから,12の物理AIベンチマーク上に51モデルの行列を構築した。 ベンチマークがどの程度の情報を共有しているかを測定し、冗長性の定量的な証拠を示す。
  論文  参考訳（メタデータ） (2026-08-26T15:54:15Z)
• AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets [4.193537335690018]
  本稿では,構造抽出とサブプリンシプル固有評価器を組み合わせたマルチエージェントフレームワークであるAgentFAIRを提案する。 それぞれが0-3の成熟度スコア、エビデンス、レコメンデーションを生成します。 15データセットの専門家による予備的な研究では、フライスのカッパは0.71で、82%が専門家のコンセンサスと一致している。
  論文  参考訳（メタデータ） (2026-07-17T09:32:54Z)
• PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
  PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
  論文  参考訳（メタデータ） (2026-07-02T10:59:03Z)
• InvestPhilBench: A Multi-Layer Dynamic Benchmark for Evaluating Large Language Model Procedural Reasoning in Expert Investment Philosophy [0.9924185669370708]
  InvestPhilBenchは8つの認知層にまたがる動的ベンチマークである。 v0.6リリースには118のプライマリソース認証投資原則カードが含まれている。 大規模な再現可能なスコア付けには、Benchmark Automated Scoring Pipelineを紹介します。
  論文  参考訳（メタデータ） (2026-06-24T15:53:20Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
  ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。 本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
  論文  参考訳（メタデータ） (2026-05-07T06:31:34Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Automatic sleep stage classification with deep residual networks in a mixed-cohort setting [63.52264764099532]
  我々は,大規模コホートの一般化性を評価するために,新しいディープニューラルネットワークモデルを開発した。 総合的な分類精度はトレーニングデータの分数を増やして向上した。
  論文  参考訳（メタデータ） (2020-08-21T10:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。