論文の概要: Re-executing Coding-Agent Evaluations: Unchanged Decisions and Unresolved Policy Risk
- arxiv url: http://arxiv.org/abs/2610.14460v1
- Date: Sat, 10 Oct 2026 01:38:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 21:28:35.753161
- Title: Re-executing Coding-Agent Evaluations: Unchanged Decisions and Unresolved Policy Risk
- Title（参考訳）: コーディング・アジェント評価の再実行:未解決の決定と未解決の政策リスク
- Abstract要約: SWE-bench Pro v1のオフラインオプションは、グレーディング設定が変更された59のGoパッチをいずれも拒否した。
ダーウィン・グデル・マシン(Darwin Gdel Machine)から選択されたエージェント・バージョン/タスクの評価を1,929回再実行した。
- 参考スコア（独自算出の注目度）: 17.65814668680372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Executable tests grade large language model (LLM) coding-agent patches for leaderboards, rewards and self-improvement. Two preregistered re-execution studies returned negative results. SWE-bench Pro v1's offline option rejected none of 59 accepted Go patches whose grading configuration changed. Their exploratory, unweighted upper confidence limit is 4.95% under candidate independence, leaving a 3% exposed-patch risk unresolved; the preregistered estimator uses inverse sampling-probability weights. An extension was inconclusive. In a selected stratum, a reconstructed module cache built from the reference solution's dependencies rejected accepted alternatives from four models that passed with their own dependencies. Re-executing 1,929 selected agent-version/task evaluations from the Darwin Gödel Machine's archive preserved best-agent selection and system-variant ranking, with search history and scores of evaluations not rerun fixed. Exploratory host, image and adapted-grader comparisons also preserved them. Seven of 23 disagreements with archived verdicts did not recur on a second host; rebuilt images changed 16 three-run majority verdicts (0.83%) under four-CPU execution. We provide an evidence-to-claim summary, lessons for grader audits and an anonymous replication package. These results concern accepted patches and fixed-history decisions; general policy safety and adaptive-learning robustness require broader evaluations.
- Abstract（参考訳）: Executable tests grade large language model (LLM) code-agent patch for leaderboards, rewards and self-improvement。
事前登録された2つの再実行研究は、否定的な結果を取り戻した。
SWE-bench Pro v1のオフラインオプションは、グレーディング設定が変更された59のGoパッチをいずれも拒否した。
彼らの探索的、未成熟な高信頼限界は、候補者の独立の下で4.95%であり、3%の露出パッチリスクは未解決のままである。
拡張は決定的ではなかった。
選択された階層では、参照ソリューションの依存関係から構築された再構成されたモジュールキャッシュが、独自の依存関係で渡される4つのモデルから受け入れられた選択肢を拒絶した。
ダーウィン・ゲーデル・マシンのアーカイブから1,929件のエージェント・バージョン/タスク評価を再実行した。
探索的ホスト、画像、適応段階の比較もそれらを保存した。
アーカイブされた判決と23の意見の相違点のうち7つは第2のホストでは再帰せず、再構築された画像は4CPU実行下で16回の多数決(0.83%)に変更された。
我々は,エビデンスから評価までの要約,学級監査の授業,匿名複製パッケージを提供する。
これらの結果は、パッチと固定的歴史決定を許容するものであり、一般的な政策の安全性と適応的学習の堅牢性はより広範な評価を必要とする。
関連論文リスト
- Jeva: System One Models from First Principles [58.432996881401415]
Jevaは4つの重要な構造的要件に対処する、決定ネイティブなアーキテクチャです。
共有エンコーダは独立して要求と各オプションを表現し、コンパクトな決定スタックはイミュータブルなオプションメモリに対してのみ要求状態を洗練する。
評価全体を通じて、Jevaは強い型付き決定性能とほぼ完璧なヌル検出を組み合わせ、テストされた置換の下では決定の反転は行わない。
論文 参考訳（メタデータ） (2026-10-13T17:31:09Z) - Verifier-Harness Co-Evolution for Training-Free Self-Improvement on Open-Ended Tasks [26.247543441302785]
Unified Co-Evolution (UCoE) は、エージェントのハーネス状態とともに実行可能な検証プログラムを進化させる訓練不要の手法である。
UCoEは候補検証プログラムを合成し、応答コントラストでテストする。
最弱のコントラスト家族に対する差別が最高である候補者を選別し、これは私たちが運転能力と呼ぶ量である。
論文 参考訳（メタデータ） (2026-10-13T02:29:40Z) - TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - Auditing Long-Term Memory Evaluation: Repeated Judging, Reader Variation, and Negative Controls [0.0]
本稿では,500 LongMemEval-S開発質問に対する長期記憶検索チェーンの評価を行う。
GPT-4oで479と475のスコアが最強であり、同じパス-1の解答で3つのラベルが変化し、収率は478となる。
論文 参考訳（メタデータ） (2026-09-29T17:04:18Z) - COUNTERMEM: World-Model Verified Counter-Factual Memory for Language Agents [40.59788210629839]
COUNTERMEMは、タスク間で検証済みの反ファクトメモリの構築と使用のための強化学習フレームワークである。
動作が失敗した後、COUNTERMEMは元の状態のコピーまたはリセットからローカル代替品を評価する。
オリジナルと修正されたアクション、チェック結果、再利用条件の改善を格納する。
論文 参考訳（メタデータ） (2026-09-25T18:12:38Z) - RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
正規化再帰的自己改善型エージェント・ハーネス(RRSI)
本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。
RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
論文 参考訳（メタデータ） (2026-09-21T17:54:49Z) - Certifying Model Upgrades with Slice-Wise Non-Regression and Incumbent Fallback [2.8716825293247665]
本研究では,非回帰寛容性を考慮したチェックポイント選択について検討した。
提案手法では,候補探索を独立したペア評価から分離する再現可能なリリース手順を提案する。
共同リリース決定は、スライス数のボンフェロニのペナルティを必要としないが、スライス数によって認定能力は低下する可能性がある。
論文 参考訳（メタデータ） (2026-09-12T05:00:50Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳（メタデータ） (2026-08-09T22:59:13Z) - Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。
5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。
全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
論文 参考訳（メタデータ） (2026-07-31T04:02:51Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。