論文の概要: Lessons Outlive Their Failures: A Case Study of Rules for AI Coding Agents

• arxiv url: http://arxiv.org/abs/2610.32578v1
• Date: Fri, 23 Oct 2026 13:05:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.519862
• Title: Lessons Outlive Their Failures: A Case Study of Rules for AI Coding Agents
• Title（参考訳）: 失敗を乗り越える教訓:AIコーディングエージェントのルールのケーススタディ
• Abstract要約: 私は私個人記録の6週間のケーススタディを報告します。 私は118のエージェントの失敗とその修正、そして彼らが戻ってきたかどうかの台帳を作りました。 私は、修正なしで、孤立したgitクローンで、過去の5つの失敗をリプレイしました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI coding agents increasingly work inside a harness: rule files such as AGENTS.md, on-demand skills, runtime hooks and automated checks. Most studies of harnesses look at a single point in time or at short benchmark runs. I report a six-week case study of my personal system of record, a plain-markdown repository that three AI agent tools edited daily under one shared rule set. I built a ledger of 118 agent failures, their fixes and whether they came back. I also tested the system's monthly LLM documentation audit against 47 known stale statements and 20 planted errors. Finally, I replayed five past failures in isolated git clones, with and without their fixes. All results come from one repository with three runs per condition, so I report them as exploratory. Stale documentation (drift) was the largest failure class (48 of 118), although 35 of those were found on one audit day. A single audit run found about half of the known drift (Claude Sonnet 5.5 mean: 50%), and at least 93% of its findings were correct. On Sonnet 5.5, the agent finished four of the five replayed tasks. In three of those four, the failure did not happen, with or without its fix. Only the stale-count failure came back without its check, and the check stopped it in every run. On older models, an agent drafted an em-dash once while the em-dash lint check was active, and the check rejected it. A written rule on run-time estimates did not change Sonnet 4.5's overestimates. These results suggest that harness lessons can outlive the failures they were written to fix, while drift persists and still needs mechanical checks. Tools that evolve a harness add lessons faster than they retire them, so they should re-test their rules from time to time and retire the obsolete ones.
• Abstract（参考訳）: AIコーディングエージェントは、AgentS.mdのようなルールファイル、オンデマンドスキル、ランタイムフック、自動チェックなど、ハーネス内でますます機能する。 ハーネスのほとんどの研究は、時間内の1つの点や短いベンチマークで見る。 3つのAIエージェントツールが1つの共有ルールセットの下で毎日編集されるプレーンマークダウンリポジトリである、私の個人記録システムに関する6週間のケーススタディを報告します。 私は118のエージェントの障害とその修正、そして彼らが戻ってきたかどうかの台帳を作りました。 また、47の既知の古いステートメントと20の植込みエラーに対して、システムの月次LCMドキュメント監査もテストしました。 最後に、分離されたgitクローンで5つの過去の障害を修正なしでリプレイしました。 すべての結果は、条件毎に3回実行された1つのレポジトリから得られます。 ステージドキュメンテーション(ドリフト)は最大の障害クラス(118の48)であったが、そのうち35は監査の日に見つかった。 既知のドリフトの約半分(Claude Sonnet 5.5 は50%)が1回の監査で発見され、少なくとも93%が正しかった。 ソネット5.5では、エージェントは5つのリプレイされたタスクのうち4つを完成させた。 これら4つのうち3つでは、修正の有無に関わらず、失敗は発生しなかった。 古い数の障害だけがチェックなしで返され、チェックは実行毎に停止しました。 古いモデルでは、エージェントがEm-dashのlintチェックをアクティブにしている間にEm-dashをドラフトし、チェックがそれを拒否した。 実行時の見積もりに関する記述されたルールは、Sonnet 4.5の過大評価を変えなかった。 これらの結果は、ハーネスのレッスンは、修正するために書かれた失敗を克服し、ドリフトは継続し、依然として機械的なチェックが必要であることを示唆している。 ハーネスを進化させるツールは、リタイアするよりも早くレッスンを追加します。

関連論文リスト

• AdaRSI: On-Demand Recursive Self-Improvement for Embodied Agents [50.45129658426339]
  Recursive self-improvement (RSI) は治療を提供するが、組み込まれたRSI法では運動が失われることはない。 エンボディエージェントのためのオンデマンドRSIフレームワークであるAdaRSIを提案する。 GR00T N1.5をエグゼキューターとし、人間によるデモンストレーションを行わないRoboCasa365の50のタスクにおいて、AdaRSIはVLAを3つのスイートすべてで改善し、4.6%から13.8%に改善した。
  論文  参考訳（メタデータ） (2026-10-14T16:51:09Z)
• Structural Baselines Matter for Agent Failure Detection and Attribution [0.0]
  2種類のモニターがこれに対処し、1つは実行が失敗したかどうかを判断し、もう1つは障害が避けられないステップを命名した。 常に最後のステップを名付けているルールは、実行を全く読まないまま、ここで67%$から96%$に修正されている。 検出のために、エージェントの内部状態は、エージェントベンチマークで書き起こしの長さとテキスト類似性を破り、テキストベースラインがそうでない場所で保持する。
  論文  参考訳（メタデータ） (2026-10-12T12:13:48Z)
• Reels-RSI: Program-Level Self-Improvement for Code-Rendered Explainer Videos [5.714615440285953]
  Reels-RSIは、あらゆるエージェントハーネスのためのオープンソースのリールディレクターである。 フィールドで学んだルールは、それ以前に書かれたフレームに4つの潜伏した欠陥をキャッチした。 優先信号の4つの障害モードを文書化し、それぞれをチェックし、修正した。
  論文  参考訳（メタデータ） (2026-10-10T02:46:44Z)
• Cortex: Measurement-Gated Evolution and Pruning of Coding-Agent Skills and Rules [0.0]
  Cortexは、ハーネスの変更を信頼せずにテストするツールです。 開発者のセッションから修正を再生可能なタスクとして保存する。 再帰する修正を見つけ、一度に1つのスキルやルールを書き、繰り返し実行された場合とそれなしではネットゲインを示す場合にのみそれを保持します。
  論文  参考訳（メタデータ） (2026-10-09T18:29:48Z)
• SWE-Duel: Towards a Self-Scaling Arena for Coding Agents [9.502686818788131]
  1500ターンの5言語で15のリポジトリで、11人のモデルハーネス参加者の間でトーナメントを開催しています。 Codex CLI の GPT-5.5 が最強の解決法として最初にランクインし、レビューした欠陥の98.3%を修復した。 1つのモデルファミリー内では、最新のバージョンによって書かれたタスクが、古いバージョンよりもはるかに頻繁に固定参照解決器を倒す。
  論文  参考訳（メタデータ） (2026-10-08T18:01:00Z)
• TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
  時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。 Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。 TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
  論文  参考訳（メタデータ） (2026-09-23T03:08:12Z)
• Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
  別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。 各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。 約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
  論文  参考訳（メタデータ） (2026-09-16T04:00:54Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• CrossAudit: A Git-Native, Cross-Vendor Audit Loop for Agentic Science [5.610929955077264]
  CrossAuditは、自律的な研究パイプラインを監督するためのプロトコルである。 それぞれのインクリメントは、異なるベンダーのエージェントによって、人間が書いたりバージョン付けされたルールブックに対して監査される。 報告、評決、論争、裁定はgitコミットであり、監督履歴を再読して引用することができる。
  論文  参考訳（メタデータ） (2026-08-05T12:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。