論文の概要: Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model
- arxiv url: http://arxiv.org/abs/2608.13867v1
- Date: Fri, 14 Aug 2026 01:34:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.248733
- Title: Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model
- Title（参考訳）: 信頼性の高い符号化エージェント: モデル周辺システムの評価と運用
- Abstract要約: 164の学術作品、100の実践記録、29のベンチマーク記録、17の著者・システム・ケース・レコードを合成する。
構造化されたマルチボーカルレビュー、ターゲットとする更新監査、ソフトウェアエンジニアリングカバレッジ分析、分散システムエビデンス合成として書かれた。
本は、深さ56の信頼性記録と13のリサーチリードを含む、バージョン管理された206の信頼性記録を寄稿している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI coding agents are commonly evaluated as models but deployed as systems. Their reliability depends not only on model capability, but on the harness, execution state, retrieval, memory and state management, permissions, review interfaces, and resource allocation. This monograph examines those boundaries and develops a framework for evaluating and operating coding agents reliably. It synthesizes 164 scholarly works, 100 practitioner records, 29 benchmark records, and 17 author-system case records through a structured multivocal review, targeted update audits, software-engineering coverage analysis, and distributed-systems evidence synthesis. Across this evidence, many apparent model failures originate elsewhere in the system, while improvements at one layer often fail to propagate to end-to-end outcomes. Evaluation and operation are treated as a dependency chain in which weaknesses in task construction, execution environments, retrieval, state management, verification, or observability can invalidate downstream conclusions. The monograph contributes a versioned catalog of 206 reliability records: 193 gated practices, including 56 developed in depth, plus 13 research leads; an evidence ledger; a framework for dependency and repair asymmetry across the agent lifecycle; measurements and failure cases from operated agent systems; runnable evaluation and reliability protocols; and five reusable agent skills with evidence maps. Together, these provide a system-level methodology for distinguishing model capability from infrastructure effects, designing defensible evaluations, and building systems that recover safely when components fail. The review is structured rather than exhaustive, evidence strength varies by topic, and results depend on workload and configuration. The methods record which search lanes were executed, which remain unexecuted, and limits on evidence-grading claims.
- Abstract（参考訳）: AIコーディングエージェントは一般的にモデルとして評価されるが、システムとしてデプロイされる。
その信頼性は、モデル機能だけでなく、ハーネス、実行状態、検索、メモリと状態管理、パーミッション、レビューインターフェース、リソース割り当てにも依存する。
このモノグラフは、これらの境界を検証し、符号化エージェントを確実に評価し、操作するためのフレームワークを開発する。
164の学術作品、100の実践記録、29のベンチマーク記録、および17の著者システムケースレコードを構造化されたマルチボーカルレビュー、ターゲットとする更新監査、ソフトウェアエンジニアリングカバレッジ分析、および分散システムエビデンス合成を通じて合成する。
この証拠全体では、多くの明らかなモデル障害はシステム内の他の場所で発生しますが、一方のレイヤにおける改善はエンドツーエンドの結果に伝達できません。
評価と操作は、タスク構築、実行環境、検索、状態管理、検証、あるいは観測可能性の弱点が下流の結論を無効にする依存関係チェーンとして扱われる。
モノグラフは206の信頼性記録のバージョニングカタログを提供しており、その中には、奥行きの深さで開発された56と13の研究リーダを含む193のゲート付きプラクティス、エビデンス台帳、エージェントライフサイクル全体にわたる非対称性の依存性と修復のためのフレームワーク、運用エージェントシステムによる測定と障害事例、実行可能な評価と信頼性プロトコル、エビデンスマップによる5つの再利用可能なエージェントスキルが含まれている。
これらとともに、モデル能力とインフラストラクチャ効果を区別するシステムレベルの方法論を提供し、防御可能な評価を設計し、コンポーネントの障害時に安全に回復するシステムを構築する。
レビューは徹底的ではなく構造的であり、証拠の強さはトピックによって異なり、その結果は作業負荷と構成に依存します。
この方法はどの検索レーンが実行されたかを記録しており、これはまだ実行されていない。
関連論文リスト
- Large Language Models at the Intersection of Software Engineering and Software Security:An Evidence-Centered Structured Survey and Research Agenda [8.73908281393875]
大規模言語モデル(LLM)は、コード補完から、コンテキストを取得し、ファイルを編集し、ツールを実行し、セキュリティに敏感な証明に参加するリポジトリスケールエージェントへと移行している。
このエビデンス中心の構造化された調査は、ソフトウェアエンジニアリングタスク、ソフトウェアセキュリティタスク、適応メカニズム、アーティファクトの粒度、評価設計を含む2026年5月31日までに利用可能な代表的作業を合成する。
論文 参考訳（メタデータ） (2026-08-21T13:54:38Z) - Terminal Agents: A Survey of AI Agents in Command-Line Environments [102.48222742145474]
大規模言語モデルエージェントは、ターミナルを通してますます行動するが、既存の調査は、ソフトウェア工学、ツールの使用、コンピュータ利用の研究にまたがって端末による振る舞いを分散させている。
我々は,端末エージェントを,端末コマンドの実行,テキストフィードバック,ステートフルな環境相互作用を介し,進行を伴う動作を主とするシステムとみなす。
我々の合成は、実現された行動はモデル、インターフェース、ハーネス、ランタイム、環境によって共同で形成されていることを示している。
論文 参考訳（メタデータ） (2026-08-20T18:16:44Z) - Beyond Component Testing: Validating Agentic AI Systems [2.403279740172383]
エージェントAIシステムは、計画、ツールの使用、メモリ、インタラクション、適応を組み合わせた多段階の軌道を介して機能する。
本調査では,エージェント評価,ソフトウェア保証,サイバー物理システム,ランタイム監視,規制ガイダンスを対象とする257件の論文をまとめた。
論文 参考訳（メタデータ） (2026-07-31T13:24:34Z) - DocOps: A Verifiable Benchmark for Autonomous Agents in Complex Document Operations [106.74348504930124]
本稿では,階層的な分類を基盤とした決定論的に検証可能な評価フレームワークであるDocOpsを紹介する。
DocOpsに基づいて,各種エージェントハーネスのクローズドおよびオープンソースモデルを体系的に評価する。
我々の研究は、グローバルな文書整合性を維持するためのエージェントの能力境界を明らかにし、堅牢で非破壊的なエージェントの将来の設計に光を当てている。
論文 参考訳（メタデータ） (2026-07-22T07:52:59Z) - Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。
その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。
本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
論文 参考訳（メタデータ） (2026-07-07T03:20:52Z) - From Question Answering to Task Completion: A Survey on Agent System and Harness Design [67.8241530947325]
本研究はモデルハーネスレンズを用いてLCMをベースとしたエージェントについて検討する。
まず, LLMをベースとしたエージェントを基礎モデルと実行ハーネスとして, エージェントの機能的定義と実装の視点を明らかにする。
次に、モデル中心のスケーリングの限界を分析し、エージェントエンジニアリングの4つのパラダイムをトレースし、実行ハーネスを6つの結合ランタイム責任に分解する。
論文 参考訳（メタデータ） (2026-06-14T05:40:16Z) - From Agent Traces to Trust: Evidence Tracing and Execution Provenance in LLM Agents [20.651400118242346]
大規模言語モデル(LLM)ベースのエージェントは、外部ツール、検索システム、メモリモジュール、環境、その他のエージェントと相互作用することで、複雑なタスクをますます解決する。
最終回答の精度だけでは、アウトプットがどのように生成されたかは説明できないため、それぞれのクレーム、ツールコールが正当化されたか、後の決定にメモリがどのように影響したか、実行失敗がどこから発生したかといった証拠が裏付けられている。
エビデンストレースと実行の証明は、検索されたエビデンス、ツール出力、メモリアイテム、環境観察、中間クレーム、アクション、最終回答がエージェントの実行を通してどのように接続されているかをモデル化することによって、このギャップに対処する。
論文 参考訳（メタデータ） (2026-06-03T15:12:47Z) - Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows [18.6534256358905]
本稿では,リアルエージェントシステムにおける構成レベルのハーネス効果を評価するための診断ベンチマークであるHarness-Benchを紹介する。
ベンチマークには、実用的なエージェント使用パターンから構築された106のサンドボックス化されたオフラインタスクが含まれている。
5,194個の実行軌道にまたがって、完了、プロセス品質、効率、障害挙動のかなりの変化を観察する。
論文 参考訳（メタデータ） (2026-05-27T03:47:35Z) - Reversa: A Reverse Documentation Engineering Framework for Converting Legacy Software into Operational Specifications for AI Agents [0.0]
本稿では,レガシソフトウェアをAIエージェントのトレーサブルな運用仕様に変換するためのリバースドキュメンテーションエンジニアリングフレームワークであるReversaを紹介する。
特殊なエージェントは、プロジェクト表面をマッピングし、モジュールを分析し、暗黙のルールを抽出し、アーキテクチャを合成し、ユニットレベルの仕様を書き、生成されたクレームをレビューする。
提案では,コードと仕様間のトレーサビリティ,明確な信頼性マーキング,人間の検証のためのギャップの保存という,3つのメカニズムを強調している。
論文 参考訳（メタデータ） (2026-05-18T17:23:13Z) - TopoPilot: Reliable Conversational Workflow Automation for Topological Data Analysis and Visualization [4.62716665682001]
TopoPilotは、複雑な科学的視覚化を自動化するための信頼性が高くエージェント的なフレームワークである。
TopoPilotは、信頼性の高い運用を保証するために、系統的なガードレールと検証メカニズムを組み込んでいる。
評価では、TopoPilotは99%以上の成功率を達成したが、ベースラインでは50%以下で、包括的なガードレールやチェックがない。
論文 参考訳（メタデータ） (2026-03-26T05:56:53Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。
25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。
私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文 参考訳（メタデータ） (2025-10-01T07:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。