論文の概要: Skeleton Coding: Program Structure as a Specification for Agents
- arxiv url: http://arxiv.org/abs/2610.38214v1
- Date: Wed, 28 Oct 2026 03:09:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.366639
- Title: Skeleton Coding: Program Structure as a Specification for Agents
- Title（参考訳）: Skeleton コーディング:エージェントの仕様としてのプログラム構造
- Abstract要約: スケルトンは、最高のエンドツーエンドの動作仕様と比較して平均テストエラーを48.4%削減できることを示す。
エージェントが完全な参照実装をクエリできる場合でも、スケルトンを追加することで平均テストエラーが27.0%まで減少する。
スケルトンはまた、小型モデルと大型モデルの間の平均的なギャップを52.4%減らし、実装コストを15-26倍減らし、コード浸食を24.7%減らした。
- 参考スコア（独自算出の注目度）: 112.23717608824352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents are typically provided end-to-end behavioral specifications that the code they produce should satisfy, such as tests and input--output examples. How many such specifications must a developer provide, and which ones, for the agent to produce the developer's intended program? We argue that this cannot be determined a priori, for it depends on the structure of the implementation, which is left to the agent to decide. An agent first commits to a structure---a decomposition into data types, modules, and functions---which fixes a class of candidate programs; behavioral specifications then select a program within that class. A set of tests that suffices for one structure may leave another badly underdetermined, requiring different edge cases or exponentially more examples. Since the structure is chosen by the agent, developers cannot ensure their specification is complete without reverse-engineering it from thousands of lines of generated code. To resolve this, we introduce Skeleton Coding, in which developers jointly specify the structure---in high-level, code-like format---alongside behavioral specifications. Theoretically, we model AI-assisted coding as a control problem, and show that skeletons can reduce exponentially the number of tests developers must supply to steer an agent toward an acceptable program. Empirically, across four models and three benchmarks, the best-performing skeleton specifications reduce mean test error by 48.4% relative to the best end-to-end behavioral specifications. Even when the agent can query a complete reference implementation, adding a skeleton reduces mean test error relatively by up to 27.0%. Skeletons also narrow the average gap between small and large models by about 52.4% while lowering implementation cost by 15--26x, and reduce code erosion by 24.7% on average.
- Abstract（参考訳）: コーディングエージェントは一般的に、テストやインプットアウトプットの例など、コードが満足すべきエンド・ツー・エンドの動作仕様を提供する。そのような仕様は、開発者の意図するプログラムを生成するために、何人、どのエージェントが提供しなければならないのか。エージェントが決定する実装の構造に依存しているため、優先順位は決定できない。エージェントはまず、データ型、モジュール、関数を分解する構造にコミットする。
ある構造のために十分である一連のテストは、別の構造がひどく過小評価され、異なるエッジケースや指数関数的に多くの例を必要とする。
構造はエージェントによって選択されるため、開発者は数千行の生成されたコードからリバースエンジニアリングなしで仕様が完成することを保証できない。
そこで我々はSkeleton Codingを導入し、開発者は高レベルでコードライクなフォーマットと行動仕様を共同で指定する。
理論的には、AI支援コーディングを制御問題としてモデル化し、スケルトンを指数関数的に減少させることができることを示す。
実証的には、4つのモデルと3つのベンチマークで、最高のパフォーマンスの骨格仕様は、最高のエンドツーエンドの動作仕様と比較して平均テストエラーを48.4%削減した。
エージェントが完全な参照実装をクエリできる場合でも、スケルトンを追加することで平均テストエラーが27.0%まで減少する。
スケルトンはまた、小型モデルと大型モデルの間の平均的なギャップを52.4%減らし、実装コストを15-26倍減らし、コード浸食を24.7%減らした。
関連論文リスト
- A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents [16.4855244145731]
SWE-RPGはリポジトリレベルのベンチマークで、実行可能パッチ評価と検証済みの地味な参照を組み合わせる。
SWE-RPGは、113のバグ修正と50の機能追加を含む、31のPythonとJavaリポジトリから163のタスクで構成されている。
Claude Code、Codex、OpenCodeを含む3つのコーディングエージェントを6つの大きな言語モデルバックエンドで評価します。
論文 参考訳（メタデータ） (2026-08-10T03:22:04Z) - Needle in the Repo: A Benchmark for Maintainability in AI-Generated Repository Edits [3.9532936038777144]
Needle in the Repo (NITR) は、リポジトリの動作的に正しい編集が維持可能な構造を保存するかどうかを評価するためのフレームワークである。
NITRは、ソフトウェアエンジニアリングの知恵を、小さな、現実的なマルチファイルに埋め込まれた制御されたプローブに蒸留する。
GPT、Claude、Gemini、Qwenの各ファミリーの23のコーディング構成を、直接推論とエージェントベースの設定の両方で評価する。
論文 参考訳（メタデータ） (2026-03-29T15:56:05Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - SPARC: Scenario Planning and Reasoning for Automated C Unit Test Generation [1.0010193170880752]
本稿では,高レベルのプログラム意図とポインタ演算と手動メモリ管理の厳密な構文制約とのギャップを埋める,ニューロシンボリックなシナリオベースのフレームワークを提案する。
我々は、59の現実世界およびアルゴリズムの被験者で評価し、バニラプロンプト生成ベースラインを31.36%、分岐カバレッジ26.01%、突然変異スコア20.78%で上回り、シンボリック実行ツールKLEEに適合または超えている。
論文 参考訳（メタデータ） (2026-02-18T18:09:03Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - SLEAN: Simple Lightweight Ensemble Analysis Network for Multi-Provider LLM Coordination: Design, Implementation, and Vibe Coding Bug Investigation Case Study [0.0]
SLEANは、.txtテンプレートを使用してLLM間の単純なプロンプトブリッジとして機能し、デプロイに深い技術知識を必要としない。
独立した分析、相互批判、仲裁によって形成される3フェーズプロトコルは、有害なAI生成コード提案をフィルタリングする。
ファイル駆動でプロバイダに依存しないアーキテクチャは、特別なコーディング専門知識のないデプロイメントを可能にします。
論文 参考訳（メタデータ） (2025-10-11T04:24:04Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-06-04T22:01:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。