論文の概要: JevCoder: When Does Decision Delegation Pay Off in Code Repair?
- arxiv url: http://arxiv.org/abs/2610.19596v1
- Date: Wed, 14 Oct 2026 05:11:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.966883
- Title: JevCoder: When Does Decision Delegation Pay Off in Code Repair?
- Title(参考訳): JevCoder: コード修復において決定デリゲーションはいつオフになるか?
- Abstract要約: コーディングエージェントは、コードを修復するときに繰り返し決定を行う。これらの決定は、修復軌跡を形成し、連続するモデル要求のトークンコストに影響を与える。
修理品質を維持しつつトークン使用を減らすため、低コストの確率的審査員にどの修理決定を委譲できるかを問う。
我々は、これらの介入を、裁判官を使わない無誘導修理と、修理モデル自体を裁判官として使用する同じワークフローと比較する。
利益は、判断単独のコストよりも、介入が変化する仕事に依存します。
- 参考スコア(独自算出の注目度): 13.491535879221901
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A coding agent repeatedly makes decisions as it repairs code. These decisions shape repair trajectories and affect the token cost of successive model requests. We ask which repair decisions can be delegated to a low-cost probabilistic judge to reduce token use while maintaining repair quality. The judges answer questions with probabilities over predefined answers, without generating explanations. We evaluate judgment quality across repair stages and test how individual interventions change subsequent repair work. We compare these interventions with unguided repair, which uses no judge, and with the same workflow using the repair model itself as the judge. The benefit depends on the work an intervention changes, rather than the cost of the judgment alone. Based on these studies, we propose JevCoder, a workflow built around Jev, a low-cost probabilistic judge. It combines code-snippet recommendations with action-type guidance and uses judgments to determine when to submit. We evaluate three repair models, each on the same 400 tasks: 200 from SWE-bench Verified and 200 from SWE-Bench Pro Verified. Compared to unguided repair, JevCoder reduces mean repair-model token use by 21.6%-50.6%, with higher observed repair rates across all three models.
- Abstract(参考訳): コーディングエージェントは、コードを修復するときに繰り返し決定します。
これらの決定は、補修軌道を形成し、連続したモデル要求のトークンコストに影響を与える。
修理品質を維持しつつトークン使用を減らすため、低コストの確率的審査員にどの修理決定を委譲できるかを問う。
裁判官は、説明を起こさずに、事前定義された回答よりも確率で質問に答える。
修復段階の判定品質を評価し,個別の介入がその後の補修作業をどのように変えるかを検証する。
我々は、これらの介入を、裁判官を使わない無誘導修理と、修理モデル自体を裁判官として使用する同じワークフローと比較する。
利益は、判断単独のコストよりも、介入が変化する仕事に依存します。
これらの研究に基づいて、低コストの確率的判断器であるJevを中心に構築されたワークフローであるJevCoderを提案する。
コードスニペットのレコメンデーションとアクションタイプのガイダンスを組み合わせて、判断を使って提出するタイミングを判断する。
我々は,SWE-bench Verifiedから200,SWE-Bench Pro Verifiedから200の3つの修復モデルを同一の400タスクで評価した。
ガイドなしの修理と比較して、JevCoderは平均的な修理モデルトークンの使用を21.6%から50.6%削減し、3つのモデルでより高い修理率を実現した。
関連論文リスト
- Of Errors and Echoes: Responsibility-Aware Credit Assignment for Tool-Use Agents [55.222414159666016]
Error-Chain-Aware Optimization (ECHO) は、責任を意識した信用割り当てフレームワークである。
ECHOは新しく導入されたエラー、継承された結果、誤り修正、そして成功した修正を区別する。
ECHOは、責任ある決定と自己引き起こしたエラーの修復に対する報酬の制約を1度に分けて、ダウンストリームの結果の共有をカウントする。
論文 参考訳(メタデータ) (2026-10-12T00:52:30Z) - Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
論文 参考訳(メタデータ) (2026-09-28T03:10:18Z) - Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
私たちはJevとContractNLIの9つの言語モデルを比較します。
制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。
Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
論文 参考訳(メタデータ) (2026-09-23T10:53:01Z) - RESKILL: Explicit Failure Attribution and Structured Repair for Interactive Language Agents [19.541361999948858]
本稿では,修復ラウンド全体にわたって明示的な修復状態を維持する構造的修復フレームワークRESKILLを紹介する。
ALFWorld と TextCraft の RESKILL を固定修理予算下で3つのモデルサイズで評価した。
論文 参考訳(メタデータ) (2026-09-14T14:55:13Z) - Which LLM for Which Work? Budgeted Model Allocation under Uncertain Evaluation [13.385373310554327]
証拠と整合したすべての品質表で、1つの代入が最適かどうかを問う。
固定予算問題に対して、これは正確に2つの解決証明書を付与する: 推定テーブルで1回、最低テーブルで1回解決する。
論文 参考訳(メタデータ) (2026-08-30T05:00:43Z) - QiMeng-PRepair: Precise Code Repair via Edit-Aware Reward Optimization [50.722636027998]
大規模言語モデル (LLM) はプログラム修復性能が高いが、しばしば過剰な編集に悩まされる。
オーバー編集を軽減し,修復精度を向上させるフレームワークであるPRepairを提案する。
論文 参考訳(メタデータ) (2026-04-07T14:56:38Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7~10ポイントの絶対精度を観測した。
論文 参考訳(メタデータ) (2026-02-15T02:50:15Z) - Specification Vibing for Automated Program Repair [8.68148153927532]
VibeRepairは仕様中心のAPR技術で、修正をアドホックなコード編集ではなく、行動特化修復として扱う。
Defects4J v1.2では、VibeRepairが174のバグを正しく修復し、最先端のベースラインを28のバグで越えている。
Defects4J v2.0では、178のバグを修復し、33のバグによる以前のアプローチよりも優れ、23%の改善を示している。
論文 参考訳(メタデータ) (2026-02-09T04:44:58Z) - Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。
自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。
我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
論文 参考訳(メタデータ) (2023-06-16T15:13:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。