論文の概要: When the Specification Emerges: Benchmarking Faithfulness Loss in Long-Horizon Coding Agents
- arxiv url: http://arxiv.org/abs/2603.17104v1
- Date: Tue, 17 Mar 2026 19:53:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.377175
- Title: When the Specification Emerges: Benchmarking Faithfulness Loss in Long-Horizon Coding Agents
- Title（参考訳）: 仕様の創出: 長距離符号化エージェントにおける忠実度損失のベンチマーク
- Abstract要約: 実際の研究符号化は、しばしばそうではない: 意図されたシステムは、イン・テアアクションを通じて徐々に開示される。
この設定のためのベンチマークを導入し、Ss Loss Under eM ergent s Pecification (SLUMP)について研究する。
- 参考スコア（独自算出の注目度）: 15.65681557926802
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Current coding-agent benchmarks usually pro- vide the full task specification upfront. Real research coding often does not: the intended system is progressively disclosed through in- teraction, requiring the agent to track durable design commitments across a long session. We introduce a benchmark for this setting and study faithfulne Ss Loss U nder eM ergent s Pecification (SLUMP), defined as the reduc- tion in final implementation faithfulness un- der emergent specification relative to a single- shot specification control. The benchmark con- tains 20 recent ML papers (10 ICML 2025, 10 NeurIPS 2025), 371 atomic verifiable compo- nents, and interaction scripts of approximately 60 coding requests that progressively disclose the target design without revealing the paper itself. Final repositories are scored with a five-level component-faithfulness rubric and accompanied by an exposure audit to verify that scored components are recoverable from the visible interaction. Evaluated on Claude Code and Codex, the single-shot specification control achieves higher overall implementation fidelity on 16/20 and 14/20 papers, respectively. Structural integration degrades under emergent specification on both platforms, while seman- tic faithfulness loss is substantial on Claude Code and small on Codex. As a mitigation case study, we introduce ProjectGuard, an exter- nal project-state layer for specification tracking. On Claude Code, ProjectGuard recovers 90% of the faithfulness gap, increases fully faith- ful components from 118 to 181, and reduces severe failures from 72 to 49. These results identify specification tracking as a distinct eval- uation target for long-horizon coding agents.
- Abstract（参考訳）: 現在のコーディングエージェントベンチマークは、通常、タスクの完全な仕様を前もって更新する。
意図されたシステムは段階的に内部で開示され、エージェントは長いセッションを通して耐久性のある設計のコミットメントを追跡する必要がある。
本稿では、この設定のためのベンチマークを導入し、単一ショットの仕様制御に比較して、最終的な実装における再定義として定義されたSs Loss Under eM ergent s Pecification (SLUMP)について検討する。
このベンチマークは、最近の20のML論文(10 ICML 2025, 10 NeurIPS 2025)、371の原子検証可能なコンポ-ナント、約60のコーディング要求のインタラクションスクリプトをまとめている。
最終レポジトリは5段階のコンポーネントフェースフルネスルーブリックでスコアされ、露出監査を伴って、スコアされたコンポーネントが可視的相互作用から回復可能であることを確認する。
Claude CodeとCodexで評価すると、シングルショットの仕様管理は、それぞれ16/20論文と14/20論文の総合的な実装忠実性を達成する。
一方、セマンティックな忠実さの喪失はClaude Codeで大きく、Codexでは小さい。
緩和事例として,仕様追跡のためのプロジェクト・ステート・レイヤであるProjectGuardを紹介する。
Claude Codeでは、ProjectGuardは忠実さギャップの90%を回復し、118から181まで完全に忠実なコンポーネントを増やし、重大な障害を72から49に削減している。
これらの結果から,仕様追跡を長期符号化エージェントの異なるeval-uationターゲットとして同定した。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - Specification-first convergence with an AI coding agent: a case study of dismantling a core architectural invariant across 189 files in a 717k-line codebase with no test oracle and no human code review [0.0]
本稿では,AI符号化エージェントによる大規模建築解体のケーススタディについて報告する。
ここで述べられているプロトコルの下で、エージェントはそれを正常に完了した。
論文 参考訳（メタデータ） (2026-08-12T15:35:48Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - Beyond Code Reasoning: Specification-Anchored Auditing of Multi-Implementation Distributed Protocols [1.5229705287183657]
SPECAは、明示的で分類されたセキュリティプロパティを自然言語仕様から導き出し、実装間で再利用する監査フレームワークである。
RepoAuditのベンチマークでは、SPECAは100%リコール(F1=0.94)で88.9%の精度に達し、著者が検証した12のバグを地上の真実を超えて表面化している。
Sherlock Fusaka Audit Contest(10のターゲット、366の応募)では、SPECAが専門家が強化した15の脆弱性をすべて回復し、4つの修正確認バグが浮上した。
論文 参考訳（メタデータ） (2026-04-29T09:57:07Z) - WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。
WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。
NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
論文 参考訳（メタデータ） (2026-04-20T01:29:56Z) - Needle in the Repo: A Benchmark for Maintainability in AI-Generated Repository Edits [3.9532936038777144]
Needle in the Repo (NITR) は、リポジトリの動作的に正しい編集が維持可能な構造を保存するかどうかを評価するためのフレームワークである。
NITRは、ソフトウェアエンジニアリングの知恵を、小さな、現実的なマルチファイルに埋め込まれた制御されたプローブに蒸留する。
GPT、Claude、Gemini、Qwenの各ファミリーの23のコーディング構成を、直接推論とエージェントベースの設定の両方で評価する。
論文 参考訳（メタデータ） (2026-03-29T15:56:05Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - The Specification Gap: Coordination Failure Under Partial Knowledge in Code Agents [0.0]
2エージェント統合の精度は、詳細が削除されると58%から25%に低下する。
因子的回復実験により、完全な仕様を復元するだけで、単一エージェントの天井が回復することが示された。
このギャップは単に隠された情報の結果ではなく、共有された決定なしに互換性のあるコードを生成することの難しさを反映している。
論文 参考訳（メタデータ） (2026-03-25T13:18:26Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - SPECA: Specification-to-Checklist Agentic Auditing for Multi-Implementation Systems -- A Case Study on Ethereum Clients [1.711666249985278]
SPECAは、標準要件をチェックリストに変換する仕様からChecklistフレームワークである。
SPECAは,11社を対象とし,フサカアップグレードのセキュリティ監査コンテストの会場内でインスタンス化を行う。
我々の改善されたエージェントは、競争監査の基礎的真実に対して評価され、高影響の脆弱性について27.3%の厳格なリコールを達成した。
論文 参考訳（メタデータ） (2026-02-07T12:19:00Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳（メタデータ） (2026-01-30T08:29:01Z) - Overcoming Joint Intractability with Lossless Hierarchical Speculative Decoding [58.92526489742584]
我々は無益な無益な提案をする。
承認されたトークンの数を大幅に増加させる検証方法。
HSDは様々なモデルファミリやベンチマークの受け入れ率に一貫した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2026-01-09T11:10:29Z) - Hybrid-Code: A Privacy-Preserving, Redundant Multi-Agent Framework for Reliable Local Clinical Coding [0.0]
クラウドベースのLarge Language Models(LLM)を使用した臨床コーディング自動化は、プライバシのリスクとレイテンシのボトルネックを引き起こす。
局所的な臨床コーディングのためのハイブリッド・ニューロシンボリック・マルチエージェント・フレームワークであるHybrid-Codeを導入する。
論文 参考訳（メタデータ） (2025-12-26T02:27:36Z) - Leveraging Code Cohesion Analysis to Identify Source Code Supply Chain Attacks [4.875767567748654]
サプライチェーン攻撃は、正当なプロジェクト内で悪意のあるコードインジェクションによって、ソフトウェアのセキュリティを著しく脅かす。
本稿では,ソースコードの凝集破壊を定量化することにより,スプリアスコードインジェクションの強調のための教師なしアプローチを提案する。
369のオープンソースC++レポジトリに対する54,707の関数の解析により、コードインジェクションが凝集を減少させることが明らかになった。
論文 参考訳（メタデータ） (2025-10-16T15:14:04Z) - VERINA: Benchmarking Verifiable Code Generation [46.582574591358735]
大規模言語モデル(LLM)は、ソフトウェア開発にますます統合されている。
LLM生成コードの正確性を保証することは依然として困難である。
検証可能なコード生成は、この制限に対処するための有望なパスを提供する。
論文 参考訳（メタデータ） (2025-05-29T06:12:52Z) - Towards Exception Safety Code Generation with Intermediate Representation Agents Framework [54.03528377384397]
大規模言語モデル(LLM)は、しばしば生成されたコードの堅牢な例外処理に苦しむ。
中間表現(IR)アプローチにより,LLM生成コードの例外安全性を実現する新しいマルチエージェントフレームワークであるSeekerを提案する。
Seekerは例外処理をScanner, Detector, Predator, Ranker, Handlerの5つの特殊エージェントに分解する。
論文 参考訳（メタデータ） (2024-10-09T14:45:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。