論文の概要: Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models

• arxiv url: http://arxiv.org/abs/2610.10478v1
• Date: Wed, 07 Oct 2026 17:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.088606
• Title: Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models
• Title（参考訳）: 解ける前に - ベースモデルからトレーニング後のコーディング-エージェントのパフォーマンスを予測する
• Abstract要約: エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
• 参考スコア（独自算出の注目度）: 87.94969284553706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How can we predict which base checkpoint is worth an expensive round of agentic post-training? End-to-end pass@$K$ tests whether successful behavior already appears in a base model's distribution, but it is a poor fit for agentic coding: many base checkpoints cannot reliably produce the well-formed tool invocation required to complete a task end-to-end. Single-shot or short-horizon tasks avoid these tool-calling failures by collapsing a multi-step interaction into a fixed prompt and a single patch, but they sidestep the core capability we care about: maintaining coherent state over many tool-using steps as the repository evolves. To bridge this gap, we treat successful post-trained agent trajectories as a lookahead signal of base-model potential. Replaying each trajectory and rerunning tests after every code-changing step identifies the decisive step: the first step whose cumulative patch flips the repository from failing to passing, certifying that the recorded action solves the task given the prior context. Motivated by a coverage principle for agentic traces, we build three screens at this step that do not require a base checkpoint to drive the harness from a cold start: (i) Decisive-Action BPB (bits per byte) measures the probability mass on the certified action, (ii) Patch MCQ tests the checkpoint's choice between that action and alternatives rejected by the same verifier, and (iii) prefix-conditioned pass@$K$ evaluates support for functionally-correct generations and credits any continuation that the tests accept. Across ten pairs of public base and post-trained models, all three screens rank the cohort in close agreement with post-trained SWE-bench Verified pass@$1$. As our methods need only a benchmark's successful trajectories and its verifier, they can be applied to turn future agentic coding benchmarks into base-model evaluations.
• Abstract（参考訳）: エージェントによるトレーニング後、どのベースチェックポイントが高価なラウンドに価値があるかをどうやって予測できますか? エンド・ツー・エンドのパス@$K$テスト 成功した振る舞いがベースモデルのディストリビューションにすでに現れているかどうかをテストするが、エージェント・コーディングには適していない。 シングルショットやショートホライゾンのタスクは、固定プロンプトと単一パッチに複数ステップのインタラクションをラップすることで、これらのツール呼び出しの失敗を回避するものです。 このギャップを埋めるために,訓練後のエージェント軌道をベースモデル電位のルックアヘッド信号として扱う。 コード変更の各ステップの後に各トラジェクトリをリプレイし、テストを再実行すると、決定的なステップが特定されます。 エージェントトレースのカバレッジ原則によって動機付けられたこのステップでは,寒さからハーネスを駆動するベースチェックポイントを必要としない3つのスクリーンを構築します。 一 判定アクションBPB(ビット毎バイト)は、認定された行動の確率質量を測定する。 2)パッチMCQは、その動作と同一の検証者によって拒絶された代替品との間のチェックポイントの選択を検査し、 (iii)プレフィックス条件のpass@$K$は、関数的に正しい世代のサポートを評価し、テストが受け入れる継続を信用する。 10組のパブリックベースとポストトレーニング後のモデルで、すべての3つのスクリーンが、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致してコホートをランク付けしている。 提案手法は,ベンチマークの成功軌跡とその検証のみを必要とするため,将来のエージェントコーディングベンチマークをベースモデル評価に変換するために適用することができる。

関連論文リスト

• Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
  Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
  論文  参考訳（メタデータ） (2026-09-29T07:58:49Z)
• How to Speculate about Uncertainty in Agentic Coding? A Draft-Model Gate Method [4.37919186746582]
  ブラックボックスエージェントの予測故障信号を復元する手法である投機的不確実性(SU)を提案する。 我々は、推論とアクションスパンを分離して位相認識の特徴を抽出し、検証対象に対して校正する。 SUは、ルーティング、人間の介入、テストタイムの余分な計算など、ダウンストリームポリシーが直接的に消費できる、障害に似たスコアを生成する。
  論文  参考訳（メタデータ） (2026-09-04T15:30:22Z)
• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click [0.0]
  本稿では,エージェントスキル測定のためのベンチマークであるBekchiAIと,ライブエージェントの監視と制御のためのプラットフォームについて紹介する。 BekchiAI-Platformは、デプロイされたエージェントのための補完的なWebベースの可観測性とコントロールレイヤであり、完全なトークンとテレメトリとリモート実行終了を提供する。
  論文  参考訳（メタデータ） (2026-08-27T09:30:08Z)
• AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems [30.172832661173928]
  LLMベースのマルチエージェントシステムは、長距離タスクにますますデプロイされている。 単一の決定的なエラーは、しばしば下流のエージェントやカスケードによって軌道レベルの障害として受け入れられる。 我々は,この問題をオンライン監査として再編成するフレームワークであるAgentForesightを紹介した。
  論文  参考訳（メタデータ） (2026-05-09T05:55:19Z)
• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)
• Q-REG: End-to-End Trainable Point Cloud Registration with Surface Curvature [81.25511385257344]
  本稿では、リッチな幾何学的情報を用いて、単一の対応から剛性ポーズを推定する新しい解Q-REGを提案する。 Q-REGは、堅牢な推定を徹底的な探索として形式化し、エンドツーエンドのトレーニングを可能にする。 実験では、Q-REGは対応マッチング法に非依存であり、推論とエンドツーエンドトレーニングの両方で使用した場合に一貫した改善を提供する。
  論文  参考訳（メタデータ） (2023-09-27T20:58:53Z)
• Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
  希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。 このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
  論文  参考訳（メタデータ） (2020-03-16T00:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。