論文の概要: Can Coding Agents Reproduce Official Statistics? Metadata, Retry Budget and the Limits of Execution Feedback in a Controlled Eurostat Benchmark
- arxiv url: http://arxiv.org/abs/2609.22222v1
- Date: Wed, 02 Sep 2026 13:21:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.791258
- Title: Can Coding Agents Reproduce Official Statistics? Metadata, Retry Budget and the Limits of Execution Feedback in a Controlled Eurostat Benchmark
- Title（参考訳）: コーディングエージェントは公式統計を再現できるか? 制御されたユーロスタットベンチマークにおけるメタデータ、リトライ予算、実行フィードバックの限界
- Abstract要約: Claude Sonnet 5は、Anthropic Messages APIを通じて3つの独立した複製でPythonを生成し、360タスク実行を実現した。
本研究は,プログラムエージェントが生成したEurostat回答のメタデータを信頼的および実行的フィードバックが改善するか否かを問うとともに,実行的フィードバックが実際に寄与するものを分離する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can generate executable data-analysis code, but successful execution is not equivalent to a valid official-statistics result. This study asks whether authoritative metadata and execution feedback improve the reproducibility of Eurostat answers produced by a coding agent, and isolates what execution feedback actually contributes. A benchmark of 30 natural-language tasks covering seven domains, seven Eurostat datasets and four difficulty tiers was run under four conditions: task only (A), task plus a frozen dataset metadata card (B), metadata plus a repair loop driven by sanitized execution feedback (C), and metadata plus the same attempt budget with no diagnostics of any kind (D). Claude Sonnet 5 generated Python through the Anthropic Messages API in three independent replicates, yielding 360 task-runs. Exact correctness required successful execution, the correct dataset, filters, output shape, values and unit. A companion experiment run under an under-specified output contract, in which the required ranking key and unit representation were never stated to the model, understated condition C by 23.4 points, showing that evaluator and contract design can dominate measured agent error. Reliable statistical coding agents need semantic validation against frozen specifications, a fully specified output contract, and a retry budget - not execution diagnostics.
- Abstract（参考訳）: 大規模言語モデルは実行可能なデータ分析コードを生成することができるが、成功した実行は有効な公式統計結果と等価ではない。
本研究は,符号化エージェントが生成したEurostatの再現性向上に権威的メタデータと実行フィードバックが有効かどうかを問うとともに,実際にどのような実行フィードバックが寄与するかを分離する。
7つのドメイン、7つのEurostatデータセット、4つの難易度レベルを含む30の自然言語タスクのベンチマークが、タスクのみ(A)、タスクと凍結されたデータセットメタデータカード(B)、メタデータと、衛生化された実行フィードバック(C)によって駆動される修復ループ、メタデータと、あらゆる種類の診断のない同じ試行予算(D)の4つの条件の下で実施された。
Claude Sonnet 5は、Anthropic Messages APIを通じて3つの独立した複製でPythonを生成し、360タスク実行を実現した。
正確な正確性は、正常な実行、正しいデータセット、フィルタ、出力形状、値、ユニットを必要とする。
基準条件Cを23.4ポイント減らし、要求されたランクキーと単位表現がモデルに記述されないような、未指定の出力契約の下で協調実験を行い、評価器と契約設計が測定されたエージェントエラーを支配可能であることを示す。
信頼性の高い統計的コーディングエージェントには、凍結した仕様に対するセマンティックな検証、完全に指定された出力契約、再試行予算が必要です。
関連論文リスト
- CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。
本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
論文 参考訳（メタデータ） (2026-09-21T05:14:34Z) - Trace Integrity for LLM Data Agents: A Vision for Auditable Structured Reasoning in Real-World Systems [0.519554837386174]
構造化データタスクでは、不正なトレースによってベンチマーク正解が生成される。
本稿では,回答の裏側で記録された計算が明確かどうかを評価するためのデプロイメント信頼性基準であるTrace Integrityを紹介する。
また,CAIT (Correct Answer / Invalid Trace) レートを導入し,回答のみの評価が計算支援出力をどれだけ成功させるかを測定する。
論文 参考訳（メタデータ） (2026-08-26T17:15:24Z) - Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - AEVAL: From Anecdotal to Deterministic Testing for Agentic Skill Workflows [1.6785141970297952]
AEVAL(Agentic Evaluation)はCI統合フレームワークで、このプラクティスをエージェントスキルのための決定論的かつ再現可能なテストパイプラインに置き換える。
すべてのスキル変更がテストイベントをトリガーする。スキルは、自動エグゼキュータ内の開発者が宣言した評価契約に対して実行される。
鍵となる要素は、実行子とグレーダの間の構造的分離であり、微妙だが広汎な障害モードを防止する。
論文 参考訳（メタデータ） (2026-07-16T21:33:05Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳（メタデータ） (2026-07-07T15:41:22Z) - TRAJEVAL: Decomposing Code Agent Trajectories for Fine-Grained Diagnosis [23.834704102474927]
コードエージェントはGitHubの問題を解決することができるが、失敗した場合、現在の評価は場所や理由を可視化しない。
本稿では,エージェントトラジェクトリを3つの解釈段階に分解する診断フレームワークTRAJEVALを紹介する。
我々はこれらの診断が予測可能であることを確認し、0.87-2.1% MAEでモデルレベルのPass@1予測を達成する。
論文 参考訳（メタデータ） (2026-03-25T05:27:03Z) - Training on the Benchmark Is Not All You Need [52.01920740114261]
本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。
本手法は,モデルトレーニングデータや重みを使用せずに,グレーボックス条件下で動作可能である。
4つのベンチマークデータセットから35個の主要なオープンソースLCMのデータ漏洩度を評価する。
論文 参考訳（メタデータ） (2024-09-03T11:09:44Z) - Execution-based Evaluation for Data Science Code Generation Models [97.96608263010913]
データサイエンスコード生成タスクの実行評価のための評価データセットであるExeDSを紹介する。
ExeDSにはJupyter Notebooksの534の問題が含まれており、それぞれがコードコンテキスト、タスク記述、参照プログラム、望ましい実行出力で構成されている。
表面形状評価スコアを高い精度で達成した5つの最先端コード生成モデルの実行性能を評価する。
論文 参考訳（メタデータ） (2022-11-17T07:04:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。