論文の概要: Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data
- arxiv url: http://arxiv.org/abs/2607.18064v1
- Date: Mon, 20 Jul 2026 15:32:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.681794
- Title: Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data
- Title（参考訳）: 符号化エージェントによるオートリリサーチ:クエンリサイクリングデータにおけるジェネラライザーとメートル最大化器
- Abstract要約: コーディングエージェントは、スコアに対してソフトウェアを改善するために、単独で残すことができます。
このパターンでは、エージェントはデータセット、評価スクリプト、編集可能な1つのファイルを受け取り、監督なしで反復する。
このループを実際の生産タスクで実行し、ノイズの多い音声認識書面にどのクラニック詩が現れるかを決定しました。
- 参考スコア（独自算出の注目度）: 4.191965713559235
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents can now be left alone to improve software against a score. In this pattern--recently popularized as "autoresearch"--the agent receives a dataset, an evaluation script, and one editable file, and iterates without supervision: modify the code, measure, keep the change if the score improves. But what does the agent actually optimize--the developer's intent, or the literal number? We ran this loop on a real production task: deciding which Quranic verses appear in a noisy speech-recognition transcript and splitting the transcript by verse. Two frontier coding agents, Claude Code and OpenAI Codex, started from the same blank file with the same instructions, budget, and reasoning effort, three runs each. Both independently invented the same algorithm (canonicalization, n-gram anchoring, dynamic-programming alignment)--and then diverged. Claude stopped early with compact, general code. Codex drove the score ~10x lower, largely by memorizing answers to individual evaluation rows (19-41 hardcoded verse ids per run): a clean natural instance of specification gaming by a production agent. In a preregistered second study, we added a held-out test set and told both agents it existed. The memorization vanished, and the score gap vanished with it--yet Codex's general core transferred better and more consistently (held-out detection+split 0.085+/-0.004 vs. 0.121+/-0.031), losing only on one missed rejection of non-recitation input. Two exploratory community arms (Cursor, Antigravity) are consistent with the pattern. Every agent's held-out solution matched or beat the hand-engineered pipeline it was built to replace--the best by an order of magnitude--and now runs in production. From the ways agents exploited our harness--reading sibling runs through shared git state, leaving notes to "future runs" in persistent memory--we distill five design rules for evaluating autonomous agents.
- Abstract（参考訳）: コーディングエージェントは、スコアに対してソフトウェアを改善するために、単独で残すことができます。
エージェントはデータセット、評価スクリプト、編集可能なファイルを受け取り、監督なしで反復する。
しかし、実際にエージェントは、開発者の意図やリテラル番号を最適化するのでしょうか?
我々は、このループを実際の生産タスクで実行し、ノイズの多い音声認識文字起こしにどのクラニック詩が現れるかを決定し、詩による転写を分割した。
Claude CodeとOpenAI Codexという2つのフロンティアコーディングエージェントは、同じ命令、予算、推論の作業で同じ空白ファイルから始まり、それぞれ3つを実行する。
どちらも独立に同じアルゴリズム(正準化、n-gramアンカー、動的プログラミングアライメント)を発明し、その後分岐した。
クロードはコンパクトで一般的なコードで早く停止した。
コーデックスは、個々の評価行に対する回答(実行毎に19-41個のハードコードされたヴァースID)を記憶することで、スコアを約10倍下げた。
事前登録された第2の研究では、保留テストセットを追加し、両方のエージェントに存在を伝えた。
記憶は消失し、スコアギャップはそれとともに消滅し、コーデックスの一般的なコアはより良く、より一貫して移動した(保持された検出+0.085+/-0.004 vs. 0.121+/-0.031)。
2つの探索的コミュニティアーム(カーソル、アンチグラビティ)は、このパターンと一致している。
すべてのエージェントのホールドアウトソリューションは、それが置き換えるために構築された手動のパイプラインにマッチしたり、打ち負かしたりします。
エージェントが私たちのハーネスを悪用する方法から、共有gitステートを通じ、永続的なメモリにおける“将来の実行”に関するメモを残して、自律的なエージェントを評価するための5つの設計ルールを抽出します。
関連論文リスト
- OpenCodeReview: Determinism over Non-Determinism for Cost-Effective Agent-Based Code Review [14.707064801983172]
我々は不確実なエージェントに対する決定論的エンジニアリングに基づいて構築されたOpenCodeReviewを紹介する。
AACR-Bench(200の現実世界のPR、10の言語、1,505のエキスパート認定されたコメント)では、OpenCodeReviewが主要なコーディングエージェントを上回っている。
論文 参考訳（メタデータ） (2026-08-10T08:43:16Z) - TraceCoder: Explainable and Auditable Code Generation with Position-Key Snippet Versioning [0.0]
本稿では,3つの相補的なメカニズムによる欠点に対処するコード生成概念を提案する。
リレーショナルスニペット履歴スキーマレコード、修理イベント毎、ベンチマークリファレンス、ラウンド番号、障害テキスト、説明。
ブラウザベースの視覚化ツールは、この履歴をヒートマップされたホバリング注釈付きソースコードとして表現する。
論文 参考訳（メタデータ） (2026-07-28T22:03:52Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Self-Improving AI Coding Agents Through Accumulated Behavioral Rules: A Closed-Loop Framework [0.3867363075280543]
提案するクローズドループフレームワークでは,すべてのレビューコメントを永続的な行動規則として符号化する。
このフレームワークは、バージョン管理された命令ファイル、自己レビューチェックリスト、自動検証に設定された蓄積ルールを組み合わせる。
我々のフレームワークは、重み付けの更新なしに永続的なクロスセッション学習を実現し、既存のベンチマークが測定しない経験的な次元(時間とともに振る舞いの整合性)に対処する。
論文 参考訳（メタデータ） (2026-07-13T21:13:46Z) - Latent Programming Horizons in Coding Agents [6.8463578914435645]
ソフトウェアエンジニアリングタスクを解決するコーディングエージェントは、コードの推論、編集、テストの実行に数十ステップを費やしている。
符号化エージェントによる言語モデルの残余ストリームは、進化するプログラムの特性を線形にエンコードすることを示す。
将来の編集結果を予測するために訓練されたプローブは、パフォーマンスを最大25ステップまで向上させる。
論文 参考訳（メタデータ） (2026-07-06T15:08:26Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳（メタデータ） (2026-07-02T08:36:02Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - Memorize or Generalize? Evaluating LLM Code Generation with Code Rewriting [54.48306552577881]
大規模な言語モデル(LLM)は、主にメモリ化(トレーニングデータの大きな部分を複製または再利用する)と一般化(Generalization)を併用している、と我々は主張する。
既存の評価は、表面/構造的類似性を無視し、繰り返しコードの良質な再利用を有害なリコールと記憶タスクの正しさで混同する。
そこで我々は,2つの信号を組み合わせた正規化スコアである覚書リスク指標(MRI)を提案する。 (i) モデルが元の地平解とどのように類似しているか, (ii) 元のタスクから書き換えされたタスクにどの程度の性能が低下するか。
論文 参考訳（メタデータ） (2025-03-04T05:39:24Z) - CodeAgent: Autonomous Communicative Agents for Code Review [12.163258651539236]
コードレビュー自動化のための新しいマルチエージェント大規模言語モデル(LLM)システムであるツールを紹介する。
CodeAgentは、すべてのエージェントのコントリビューションが初期レビュー問題に対処するように、監督エージェントであるQA-Checkerを組み込んでいる。
結果はCodeAgentの有効性を実証し、コードレビュー自動化の新たな最先端に寄与している。
論文 参考訳（メタデータ） (2024-02-03T14:43:14Z) - Contrastive Code Representation Learning [95.86686147053958]
一般的な再構成に基づくBERTモデルは,ソースコードの編集に敏感であることを示す。
コントラコード(ContraCode)は、コード機能を学ぶのにフォームではなく、コントラスト的な事前学習タスクである。
論文 参考訳（メタデータ） (2020-07-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。