論文の概要: What Does a Repair Agent Gain from Remembering Its Failure? An Exploratory Study on Real Python Bugs
- arxiv url: http://arxiv.org/abs/2610.41433v1
- Date: Fri, 30 Oct 2026 08:38:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.663044
- Title: What Does a Repair Agent Gain from Remembering Its Failure? An Exploratory Study on Real Python Bugs
- Title（参考訳）: 修復作業員が失敗を思い出すものは何か? 本物のPythonバグの探索的研究
- Abstract要約: コーディングエージェントが修理タスクを失敗すると、しばしば障害の記録でリトライされる。
このような障害記憶がリトライにどのような変化をもたらすのか尋ねる。
- 参考スコア（独自算出の注目度）: 0.8699677835130409
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a coding agent fails a repair task, it is often retried with a record of the failure: the transcript, a self-written lesson, or extracted test signals. We ask what such failure memory changes in the retry. On 75 BugsInPy bugs, we retried each of 181 failed attempts of gpt-5.4-mini under five conditions, with a predeclared analysis whose deviations we report. Two predeclared follow-ups repeated the plain-retry, transcript and lesson conditions with the larger gpt-5.4 and added a notice-only control. On the bug-revealing tests, every memory condition gained over a plain retry in point estimate (+5.5 to +9.9 points over 29.8%), but none significantly. Five further findings stand out. First, a model-written lesson showed no advantage over the transcript it summarises (-1.7 points, 95% CI [-8.7, +4.9]; -3.5 for gpt-5.4), although it costs an extra model call. Second, the transcript may do more than tell the agent that it failed: a notice alone produced no significant change, while the transcript resolved 12.2 points more failures than the notice for gpt-5.4-mini (CI [+4.2, +20.0], partial run of 156 failures; the only significant one of twelve predeclared contrasts, and not significant for gpt-5.4). Third, post hoc, fewer retries with memory ended without modifying any Python file, while the share of editing retries that touched a file the fix changes was near ceiling. Fourth, in a post hoc full-test-suite check, retries that had also seen the previous attempt's test results more often failed other tests that the reference fix passes, which shrinks their apparent gains. Fifth, outcomes varied far more between failures than between conditions, and we give the sample sizes a confirmatory study would need.
- Abstract（参考訳）: コーディングエージェントが修理タスクに失敗した場合、しばしば、書き起こし、自己書き起こしのレッスン、抽出されたテスト信号という、障害の記録で検索される。
このような障害記憶がリトライにどのような変化をもたらすのか尋ねる。
75 の BugsInPy のバグに対して,5 条件下での gpt-5.4-mini の試行に失敗する181 のそれぞれを検索した。
事前宣言された2つのフォローアップは、より大きなgpt-5.4でプレーンリトライ、書き起こし、レッスン条件を繰り返し、通知のみの制御を追加した。
バグ修正テストでは、全てのメモリ状態は、ポイント推定で通常のリトライ(+5.5から+9.9ポイント以上29.8%)で得られたが、大きな差はなかった。
さらに5つの発見がある。
第一に、モデル書きのレッスンは、それが要約する転写文字(1.7ポイント、95% CI [-8.7, +4.9]; -3.5 for gpt-5.4)に何の利点も示さなかったが、追加のモデルコールはかかる。
gpt-5.4-mini (CI [+4.2, +20.0], part run of 156 failure, the only significant one of 12 predeclared contrasts, not significant for gpt-5.4)。
第三に、ポストホックでは、Pythonファイルを変更することなくメモリ上の再試行を減らし、修正変更したファイルにタッチした再試行のシェアは、ほぼ天井付近だった。
第4に、ポストホックのフルテストスーツチェックにおいて、前回の試行の結果を見たリトライは、参照修正が通過する他のテストに失敗することが多く、その明らかな利得を減少させる。
第5に, 結果の相違は条件の相違よりもはるかに多様であり, 確認研究に必要なサンプルサイズが得られた。
関連論文リスト
- Auditing Long-Term Memory Evaluation: Repeated Judging, Reader Variation, and Negative Controls [0.0]
本稿では,500 LongMemEval-S開発質問に対する長期記憶検索チェーンの評価を行う。
GPT-4oで479と475のスコアが最強であり、同じパス-1の解答で3つのラベルが変化し、収率は478となる。
論文 参考訳（メタデータ） (2026-09-29T17:04:18Z) - Learn Now, Use Next, Trust Later: Prequential Test-Time Learning for LLM Agents [55.440058537827134]
StepLearnは、永続的な信頼から即時の使用を分離する非パラメトリックフレームワークである。
情報的な遷移を仮説に変え、次のステップを導く。
GPT-5-miniでの平均成功率は59.9%、84.0%、Qwen3.5-35B-A3Bで57.8%、88.1%である。
論文 参考訳（メタデータ） (2026-09-28T08:06:03Z) - Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。
我々はこの失敗を2つの歴史監査で調査する。
パイロットは6つの合成機構の24の履歴ペアを評価する。
論文 参考訳（メタデータ） (2026-09-17T10:51:37Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。
問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
論文 参考訳（メタデータ） (2026-08-24T10:19:17Z) - Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。
モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
論文 参考訳（メタデータ） (2026-08-02T05:00:44Z) - Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。
キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。
エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
論文 参考訳（メタデータ） (2026-07-30T22:32:14Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳（メタデータ） (2026-07-29T02:42:56Z) - Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。
バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。
本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
論文 参考訳（メタデータ） (2026-07-22T07:30:07Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳（メタデータ） (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。