論文の概要: A Gated Spec-Driven Workflow: An Audit-Trail Study of Coding-Agent Work
- arxiv url: http://arxiv.org/abs/2611.05094v1
- Date: Tue, 03 Nov 2026 15:52:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 14:29:30.305276
- Title: A Gated Spec-Driven Workflow: An Audit-Trail Study of Coding-Agent Work
- Title（参考訳）: 拡張仕様駆動ワークフロー: コーディング・エージェントによる作業の監査・テスト
- Abstract要約: 仕様駆動開発(SDD)では、チャットの書き起こしからではなく、仕様、計画、タスクリストからコーディングエージェントに作業を求める。
我々はClaude Codeのそのようなワークフローについて研究し、ほとんどすべての制御が制約する同じモデルによって実行される命令である。
- 参考スコア（独自算出の注目度）: 0.42970700836450487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spec-driven development (SDD) asks a coding agent to work from specifications, plans, and task lists rather than from the chat transcript. We study one such workflow for Claude Code, in which almost every control is an instruction carried out by the same model that it constrains. The user must approve each stage before the next begins. A reviewer subagent checks each artefact against a fixed, stage-specific defect list, and an executor subagent may only touch the files listed in its task. After each block of tasks, the orchestrator runs a file-inventory check to detect undeclared changes. We analyse the logs and transcripts of nine features in seven projects, all run by the authors, ranging from a Fortran solver and Python programs to books and this paper. Of these, five finished with every planned task done, including the Fortran solver feature, and 288 of the 581 planned tasks were completed block by block. The executor kept to its declared files: it left only one undeclared change in the deliverable folder, and the check caught it, although its reports record other departures from the protocol. The weak point was the orchestrator, which runs and judges its own checks. It recorded undeclared changes in 11 of 247 block checks, mostly from the authors' in-round requests and the environment, and stopped work in only four.
- Abstract（参考訳）: 仕様駆動開発(SDD)では、チャットの書き起こしからではなく、仕様、計画、タスクリストからコーディングエージェントに作業を求める。
我々はClaude Codeのそのようなワークフローについて研究し、ほとんどすべての制御が制約する同じモデルによって実行される命令である。
ユーザーは次のステージが始まる前に各ステージを承認しなければならない。
レビュアーサブエージェントは、各アーティファクトを固定されたステージ固有の欠陥リストに対してチェックし、エグゼキュータサブエージェントはそのタスクにリストされたファイルにのみ触れる。
タスクの各ブロックの後、オーケストレータはファイル発明チェックを実行して、宣言されていない変更を検出する。
FortranソルバやPythonプログラムから書籍まで,7つのプロジェクトにおいて9つの機能のログと書き起こしを解析します。
これらのうち、5つのタスクが完了し、Fortranソルバ機能を含む全てのタスクが完了し、581のタスクのうち288がブロック単位で完了した。
実行側は宣言されたファイルを保持し、配信可能なフォルダに1つの未宣言の変更だけを残し、チェックがそれをキャッチした。
弱点はオーケストレータであり、自分自身のチェックを実行し、判断する。
247のブロックチェックのうち11で、主に著者のラウンド内要求と環境から宣言されていない変更を記録し、わずか4つで作業を停止した。
関連論文リスト
- Before the First Edit? Measuring When Coding-Agent Guidance Actually Arrives [0.0]
ポリシーの割り当て、要求の適性、トリガー、計画のデリバリ、ソース・コンテンツの変更の観測という、5つの別々のイベントを監査します。
所定のアクション比較は、3つのゲートルールのカバレッジを公開するが、計画を受けた後、エージェントがどのように続くかを教えてくれない。
我々は、公開ソフトウェア上のローカルエージェントを実行し、実行された各アクションの前後にPythonファイルをハッシュします。
論文 参考訳（メタデータ） (2026-10-26T12:22:34Z) - AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science [61.06192512211444]
データサイエンスエージェントはエンドツーエンドの機械学習を自動化することができるが、人間のリーダーボードとの競争には程遠い。
我々はこれらの問題に対処するためにAdaPRAを提案する: 同一タスクの試行にまたがって知識を蓄積する永続的符号化エージェントと、エラーを特定し修正するルーリック誘導プロセス監視。
AdaPRAはタスク毎の5つの試行により、80B QwenモデルのパーセンタイルをDSPredict-Easyで24.5ポイント、DS-Hardで14.8ポイント改善し、プロセスエラーを減らす。
論文 参考訳（メタデータ） (2026-10-23T19:46:55Z) - What Counts as the Same Task? Executable Contracts for Robustness Evaluation of Tool-Using Agents [4.920234461448995]
多くの評価は弱い規則で決定する。
契約は、どの事実がタスクを定義し、どの編集が許可され、タスクが完了するかを記述する。
同一の14,336個の格納されたエージェントを各ルールで比較する。
論文 参考訳（メタデータ） (2026-10-10T02:18:56Z) - Tracing the Thoughts of a Coding Agent Playing ARC-AGI-3: Lessons for Continual Learning [2.148015602930458]
我々は,コーディングエージェントが一連の推論タスクを通してどのように学習するかを研究する。
我々はエージェントに指示を与えないインタラクティブな推論ゲームであるARC-AGI-3をプレイさせる。
エージェントはPythonスクリプトとテキストノートとして学んだことを記録し、ハーネスはすべてのアクションと観察の完全なログを保持する。
論文 参考訳（メタデータ） (2026-10-08T08:04:18Z) - Specifying and Maintaining Agentic Workflows: An Empirical Study of GitHub Agentic Workflows [2.9773286961673637]
GitHub Agentic Churns(gh-aw)は、個々のタスクのためのAIエージェントのプロンプトから、エージェントが自動的に実行する繰り返し作業の定義まで、ソフトウェア開発を可能にする。
276のリポジトリから1,248のファイル、20,841のコミットファイルイベント、および294のサンプルから288の解決された命令ラベルセットを分析した。
その結果、ワークフロー命令は短いプロンプトを超えて、62.1%のファイルで556.5ワードとコードブロックが中央値であることがわかった。
論文 参考訳（メタデータ） (2026-09-23T02:47:24Z) - MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - Dr. Claw: An AI Scientist Workspace for Vibe Research [64.18459471289147]
Claw博士はオープンソースのワークスペースで、既存のコーディングエージェントエグゼキュータを制御可能なヒューマン・イン・ザ・ループワークフローでラップする。
永続状態オブジェクト、再利用可能なスキルライブラリ、マルチエグゼクティブコーディネーションは、人間の決定とAIの実行を結びつける。
Claw博士は、監査可能な、回復可能なプロセストレイルを維持しながら、研究の完全性により高いスコアを付けます。
論文 参考訳（メタデータ） (2026-08-31T20:58:47Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳（メタデータ） (2026-07-07T15:41:22Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。