論文の概要: Building to the Test: Coding Agents Deliver What You Check, Not What You Requested

• arxiv url: http://arxiv.org/abs/2606.28430v1
• Date: Fri, 26 Jun 2026 01:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.555521
• Title: Building to the Test: Coding Agents Deliver What You Check, Not What You Requested
• Title（参考訳）: テストを作る: コーディングエージェントは、あなたが要求したものではなく、確認したものを提供する
• Abstract要約: ベンチマークは大規模言語モデル (LLM) によるタスク完了を評価するために広く用いられているが、このアプローチは構築妥当性の問題を蓄積している。 両問題を18ランにまたがる222テストのプレイライトオラクルと3つのオラクル利用条件を用いて検討した。 ループ内のオラクルではスコアはほぼ完璧に到達しますが、テスト動作を直接保持するデモから、ライブラリは死か欠席しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benchmarks are widely used to evaluate task completion by Large Language Models (LLMs), but this approach has accumulated construction-validity problems, and a passing score may not show whether the requested task was delivered. We study both problems. In a controlled code-as-spec setup, two production Copilot CLI agents (claude-opus-4.7, gpt-5.5) re-implement a React Fluent-UI data table in Angular as a reusable library under a hidden 222-test Playwright oracle across 18 runs and three oracle-availability conditions. Alongside the score, we run a mechanical library audit and check each verdict with a no-op ablation. Without the oracle, the library is present but unfinished, revealed by scores. With the oracle in the loop, the score reaches near-perfect, but from a demo holding the tested behavior directly, the library left dead or absent. We call this building to the test; the broader disposition behind both we call validation self-awareness. The agent does not, on its own, validate what it ships as a user would. Prevalence remains an open question across other agents, signals, and model families. Beyond benchmark scores, dispositions like validation self-awareness merit research attention.
• Abstract（参考訳）: ベンチマークは大規模言語モデル(LLM)によるタスク完了を評価するために広く用いられているが、このアプローチは構成妥当性の問題の蓄積であり、パススコアは要求されたタスクが納品されたかどうかを示すものではない。 どちらの問題も研究する。 コントロールされたコード・アズ・スペック設定では、2つのCopilot CLIエージェント(claude-opus-4.7, gpt-5.5)が、AngularでReact Fluent-UIデータテーブルを再実装する。 スコアの他に,機械的図書館監査を行い,各評定をノー・オプト・アブレーションで確認する。 宣誓供述書がなければ、図書館は現存しているが未完成であり、スコアによって明らかにされている。 ループ内のオラクルではスコアはほぼ完璧に到達しますが、テスト動作を直接保持するデモから、ライブラリは死か欠席しました。 私たちはこのビルディングをテストと呼びます。 エージェントは独自に、ユーザが何を出荷するかを検証しません。 有病率は、他のエージェント、信号、モデルファミリーに対してオープンな疑問である。 ベンチマークスコア以外にも、検証の自己認識のような配置は研究の注目に値する。

関連論文リスト

• Dr. Claw: An AI Scientist Workspace for Vibe Research [64.18459471289147]
  Claw博士はオープンソースのワークスペースで、既存のコーディングエージェントエグゼキュータを制御可能なヒューマン・イン・ザ・ループワークフローでラップする。 永続状態オブジェクト、再利用可能なスキルライブラリ、マルチエグゼクティブコーディネーションは、人間の決定とAIの実行を結びつける。 Claw博士は、監査可能な、回復可能なプロセストレイルを維持しながら、研究の完全性により高いスコアを付けます。
  論文  参考訳（メタデータ） (2026-08-31T20:58:47Z)
• LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering [47.39676953516343]
  コーディングエージェントを中心とした開発作業を組織化するためのプラクティスとして,ループエンジニアリングが登場している。 LoopArenaは、1つのモデルが、長時間実行中のタスクを通じて、個別のコーディングエージェントをいかにうまくガイドできるかを評価するためのベンチマークです。
  論文  参考訳（メタデータ） (2026-08-28T12:44:54Z)
• BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click [0.0]
  本稿では,エージェントスキル測定のためのベンチマークであるBekchiAIと,ライブエージェントの監視と制御のためのプラットフォームについて紹介する。 BekchiAI-Platformは、デプロイされたエージェントのための補完的なWebベースの可観測性とコントロールレイヤであり、完全なトークンとテレメトリとリモート実行終了を提供する。
  論文  参考訳（メタデータ） (2026-08-27T09:30:08Z)
• Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
  検証・受け入れ・デプロイのギャップについて検討する。 このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。 シーリング型外因性受容ループ(SEAL)について紹介する。
  論文  参考訳（メタデータ） (2026-07-27T11:45:14Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• LM2Alloy: Investigating LLM-Generated Formal Specifications for Automated Test Derivation in Production Software [0.9023847175654603]
  本稿では,Large Language Models (LLMs) を用いた合金仕様作成のための探索的研究について述べる。 Flipperは機能フラグ管理システムであり、Cerberusはデータ検証ライブラリである。
  論文  参考訳（メタデータ） (2026-07-20T22:41:55Z)
• Can Code Specify a System Precisely Enough to Formally Verify It? [0.0]
  本報告では,業務用レストラン・ポイント・オブ・セールシステムの支払ワークフローを実運用ソフトウェアで評価する。 コアプロトコルは、正確に定義された障害モデルの下で手作りのラインアクティベートされたモデルに対して正しい。 生産用サンドボックスの1つのプローブは、全リカバリはしごを到達不能にする応答形状のばらつきを露呈した。
  論文  参考訳（メタデータ） (2026-07-06T13:39:00Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• GTA-2: Benchmarking General Tool Agents from Atomic Tool-Use to Open-Ended Workflows [90.35728421223673]
  GTA-2はジェネラル・ツール・エージェント(GTA)の階層的なベンチマークである 現実世界の認証に基づいて構築され、実際のユーザクエリ、デプロイツール、マルチモーダルコンテキストを活用する。 実験では、フロンティアモデルは既に原子タスクに苦戦しているが、トップモデルは14.39%の成功しか達成していない。
  論文  参考訳（メタデータ） (2026-04-17T05:36:00Z)
• AutoChecklist: Composable Pipelines for Checklist Generation and Scoring with LLM-as-a-Judge [16.729112949512807]
  AutoChecklistは、チェックリストに基づく評価を構成可能なパイプラインに統合する、オープンソースのライブラリである。 モジュラージェネレータ$rightarrow$Refiner$rightarrow$Scorerパイプラインは、任意のジェネレータと統一スコアラを接続する。 Python API以外にも、既製の評価のためのCLIと、インタラクティブな探索のためのWebインターフェースが含まれている。
  論文  参考訳（メタデータ） (2026-03-07T03:36:17Z)
• SecCodeBench-V2 Technical Report [43.10947096543533]
  SecCodeBench-V2は,セキュアなコードを生成するLarge Language Model (LLM)コピロの能力を評価するためのベンチマークである。 SecCodeBench-V2は、アリババグループの工業生産から派生した98世代および修正シナリオを含む。 各シナリオに対して、SecCodeBench-V2は、機能検証とセキュリティ検証の両方に対して実行可能な概念実証(PoC)テストケースを提供する。
  論文  参考訳（メタデータ） (2026-02-17T10:47:06Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• Write Your Own CodeChecker: An Automated Test-Driven Checker Development Approach with LLMs [9.551021559603349]
  AutoCheckerは、ルール記述とテストスイートのみに基づいてコードチェッカーを自動記述できる革新的なアプローチである。 テスト結果は、AutoCheckerが平均テストパスレート82.28%で、すべての評価指標で他よりも大幅に優れていたことを示している。
  論文  参考訳（メタデータ） (2024-11-11T08:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。