論文の概要: SWE-VERIFIER: Selective Verification for Cost-Efficient Coding Agents
- arxiv url: http://arxiv.org/abs/2610.30284v1
- Date: Wed, 21 Oct 2026 18:02:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.09555
- Title: SWE-VERIFIER: Selective Verification for Cost-Efficient Coding Agents
- Title(参考訳): SWE-VERiFIER:コスト効率の良い符号化エージェントの選択的検証
- Abstract要約: 不適切なアクション選択は、エージェントを低値の状態にステアリングし、計算を無駄にし、APIコストを増大させる。
本稿では、候補サンプリングと検証を選択的にトリガする軽量な生成モデルであるSWE-Verifierを紹介する。
コーディングエージェントの提案したアクションを評価して、追加の候補サンプリングが必要なタイミングを決定し、実行前に結果のアクションをランク付けする。
- 参考スコア(独自算出の注目度): 39.498811442325206
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Coding agents spend substantial computation generating actions and processing long interaction histories. Poor action choices can steer agents into low-value states, wasting computation and increasing API costs. Sampling and verifying alternative actions can improve the agent's decisions, but applying this procedure at every step adds substantial overhead. We introduce SWE-Verifier, a lightweight generative model that selectively triggers candidate sampling and verification. It scores the coding agent's proposed action to determine when additional candidate sampling is needed, then ranks the resulting actions before execution. We train SWE-Verifier from Qwen3.5-4B using preference data that groups contrasting actions with their resulting environment observations and rubric-guided teacher scores. Using the mini-swe-agent harness, SWE-Verifier improves resolution from 75.47% to 77.20% on MiniMax-M2.7 at 1.09 times cost and generalizes to DeepSeek-V4-Flash without training on its actions, improving resolution from 72.60% to 74.27% at 1.13 times cost. Across both models, SWE-Verifier verifies fewer than 4% of steps and achieves comparable or higher resolution than the trajectory and all-step baselines at substantially lower cost. These results demonstrate that selective candidate sampling and lightweight verification provide complementary gains in coding-agent performance and inference efficiency. Our model, code, and data are available at https://github.com/zkjzou/SWE-Verifier.
- Abstract(参考訳): 符号化エージェントは、かなりの計算量でアクションを生成し、長い相互作用履歴を処理する。
不適切なアクション選択は、エージェントを低値の状態にステアリングし、計算を無駄にし、APIコストを増大させる。
代替アクションのサンプリングと検証はエージェントの決定を改善することができるが、この手順を各ステップで適用することでかなりのオーバーヘッドが生じる。
本稿では、候補サンプリングと検証を選択的にトリガする軽量な生成モデルであるSWE-Verifierを紹介する。
コーディングエージェントの提案したアクションを評価して、追加の候補サンプリングが必要なタイミングを決定し、実行前に結果のアクションをランク付けする。
我々はQwen3.5-4BからSWE-Verifierを学習し、行動と結果の環境観察とルーリック誘導された教師スコアとを対照する嗜好データを用いて学習する。
SWE-VerifierはMiniMax-M2.7の75.47%から77.20%までの解像度を1.09倍のコストで改善し、DeepSeek-V4-Flashに一般化し、72.60%から74.27%までの解像度を1.13倍で改善した。
どちらのモデルでも、SWE-Verifierは4%未満のステップを検証し、トラジェクトリや全ステップのベースラインよりも大幅に低コストで同等または高い解像度を達成する。
これらの結果は,選択的候補サンプリングと軽量検証が,符号化エージェント性能と推論効率の相補的な向上をもたらすことを示した。
私たちのモデル、コード、データはhttps://github.com/zkjzou/SWE-Verifier.comで公開されています。
関連論文リスト
- LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-07-06T17:59:35Z) - SWE-TRACE: Optimizing Long-Horizon SWE Agents Through Rubric Process Reward Models and Heuristic Test-Time Scaling [13.335296846555204]
現在のパイプラインは、最適化されていないデモデータ、スパース実行報酬、計算的に禁止された推論スケーリングによってボトルネックされる。
SWE-TRACEはデータキュレーション、強化学習(RL)、テスト時間推論にまたがるSWEエージェントライフサイクルを最適化する統合フレームワークである。
標準SWEベンチマークの実験により、SWE-TRACEは、両方のトークン消費推論遅延を大幅に削減しつつ、解決率を最大化し、最先端の精度を大幅に向上することが示された。
論文 参考訳(メタデータ) (2026-04-16T09:41:47Z) - Don't Overthink It: Inter-Rollout Action Agreement as a Free Adaptive-Compute Signal for LLM Agents [0.0]
大規模言語モデル(LLM)エージェントの信頼性向上のための強力な手法として,推論時計算スケーリングが登場している。
我々は、ロールアウト間動作合意を計測することで、エージェントタイムステップ間でLLMコールを適応的に割り当てる訓練不要のコントローラTrACEを紹介する。
論文 参考訳(メタデータ) (2026-04-09T15:34:22Z) - AgentAssay: Token-Efficient Regression Testing for Non-Deterministic AI Agent Workflows [0.0]
AgentAssayは、非決定論的AIエージェントを回帰テストするための最初のトークン効率のよいフレームワークである。
厳密な統計保証を維持しながら78-100%のコスト削減を実現している。
論文 参考訳(メタデータ) (2026-03-03T04:59:25Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳(メタデータ) (2026-02-27T05:22:01Z) - Ada-RS: Adaptive Rejection Sampling for Selective Thinking [8.760287445955045]
大規模言語モデル(LLM)は、コストとレイテンシに敏感な設定でますますデプロイされている。
ツールを用いたLCMの選択的思考と適応型リジェクションサンプリング(Ada-RS)の導入について検討する。
Ada-RSは、適応的な長さの報酬で複数のサンプリング完了をスコアし、高い回帰候補のみを保持するために拒絶サンプリングを適用する。
論文 参考訳(メタデータ) (2026-02-23T05:20:15Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳(メタデータ) (2025-04-02T17:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。