論文の概要: Recursive Self-Improvement on a Budget: Scoring Code Edits Before They Run
- arxiv url: http://arxiv.org/abs/2610.29121v1
- Date: Wed, 21 Oct 2026 03:04:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.227701
- Title: Recursive Self-Improvement on a Budget: Scoring Code Edits Before They Run
- Title（参考訳）: 予算に関する再帰的な自己改善 - 実行前にコード編集を検査する
- Abstract要約: 各ランは、親の操舵分割解率と提案した差分の8座標に対して1つの線形読み出しに適合する。
HumanEval+はステアリング分割で48のインスタンスを、Polyglotは64のインスタンスをリザーブする。
Hussey-Gdel Machine の選択は、トンプソンが既に評価済みのノードの操舵数をサンプリングすることで親を引き出す。
- 参考スコア（独自算出の注目度）: 1.376408511310322
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A coding agent that rewrites its own scaffold has to choose which proposed edit to expand before that edit has been evaluated, and the search then has to return one agent. Each run fits one linear readout on the parent's steering-split solve rate and eight coordinates of the proposed diff, from 96 scaffold edits labeled by four evaluations of a 16-instance fit split, and then freezes the coefficients. HumanEval+ reserves 48 instances as the steering split and Polyglot reserves 64. That split scores parents and keeps an archive of four nodes. Huxley-Gödel Machine selection draws a parent by Thompson sampling on the steering counts of nodes that have already been evaluated, and it expands the child that parent proposes. Every method then returns the earliest evaluated node whose steering-split solve count is maximal. The tables report the held-out score of that node on the other 100 HumanEval+ instances and the other 145 Polyglot instances, next to the root scaffold and the calibration edit with the highest fit-split label. Twelve runs of GPT-4o return a node at 87.0% on held-out HumanEval+, against 84.2% for the parent-rate ablation. On that split Huxley-Gödel Machine selection returns 85.1%, the root is at 81.2%, and the calibration-best edit is at 82.8%. On the same split Claude Sonnet 4.5 returns 86.6%, beside 86.5% for Huxley-Gödel Machine selection, 85.3% for the parent-rate ablation, and 85.1% for the calibration-best edit.
- Abstract（参考訳）: 自身の足場を書き換えるコーディングエージェントは、編集が評価される前に、どの編集提案を拡大するかを選択し、検索は1つのエージェントを返す必要がある。
各ランは、親の操舵分割解率に1つの線形読み出しと、提案した差分の8つの座標に適合する。
HumanEval+はステアリング分割で48のインスタンスを、Polyglotは64のインスタンスをリザーブする。
この分割は両親をスコア付けし、4つのノードのアーカイブを保持する。
ハクスリー=ゲーデルマシンの選択は、トンプソンが既に評価済みのノードの操舵数をサンプリングし、親が提案する子を拡張する。
すべてのメソッドは、ステアリングとスプリットの解数が最大である最初期の評価ノードを返す。
テーブルは、他の100のHumanEval+インスタンスと他の145のPolyglotインスタンスでそのノードのホールドアウトスコアを報告します。
GPT-4oの12回の実行では、HumanEval+が87.0%、親レートのアブレーションが84.2%のノードが返される。
分割されたハクスリー=ゲーデルマシンの選択は85.1%、ルートは81.2%、キャリブレーション・ベスト編集は82.8%である。
同じスプリットのクロード・ソネット4.5は86.6%、ハクスリー=ゲーデル・マシン・セレクションは86.5%、ペアレート・アブレーションは85.3%、キャリブレーション・ベスト・編集は85.1%だった。
関連論文リスト
- HakemBench: A Turkish Benchmark of Typed Decisions [0.0]
HakemBenchは、テスト対象のモデルがテキスト、質問、固定されたオプションセットを読み取って、すべてのオプションの確率を返す型決定のベンチマークである。
バージョン1.0はCC BY 4.0で完全に公開されており、2,346の項目と4,275の選択肢、ye/no、スコアの7つのトラックがある。
論文 参考訳（メタデータ） (2026-10-01T16:55:18Z) - Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳（メタデータ） (2026-09-30T16:40:22Z) - The Complexity Kink: A Prompt-Side Structural Complexity Index for Code-Generation Reliability [0.3186130813218338]
6次元のプロンプト側構造複雑度指数は、生成前にスコアし、正確性から分離する。
予備的なシングルラタールーブリックの6つのバンドで5,000のPythonプロンプトを選択します。
人間の合意は穏健であり、不一致に富んだ校正セットに依存している。
論文 参考訳（メタデータ） (2026-09-17T03:07:39Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - Blind to the Pivotal Vote: Aggregate Independence Metrics Miss Where Verification Actually Helps [9.710464466895521]
多数派の置換規則は、クエリの16.2%でシグナルを呼び出しながら、全体的な精度を82.44%から85.62%に向上させる。
HumanEval+/MBPP+では、16.2%のクエリでシグナルを呼び出しながら、多数派の置換規則が全体の精度を82.44%から85.62%に引き上げている。
論文 参考訳（メタデータ） (2026-08-07T08:14:46Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳（メタデータ） (2026-07-30T10:29:22Z) - Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
言語モデルは、進行中の計算の質を読み取ることができるか?
外部介入は、その読み出しをより良い結果に変えることができるか?
凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
論文 参考訳（メタデータ） (2026-07-20T22:40:36Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳（メタデータ） (2026-06-01T04:43:36Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。