論文の概要: When Code Gets Cheap, Evaluation Gets Scarce: An Experience Report on AI-Assisted Agile Software Engineering
- arxiv url: http://arxiv.org/abs/2610.30916v1
- Date: Thu, 22 Oct 2026 08:35:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.285479
- Title: When Code Gets Cheap, Evaluation Gets Scarce: An Experience Report on AI-Assisted Agile Software Engineering
- Title（参考訳）: コードがチープになったら、評価はスカースになる:AI支援のアジャイルソフトウェアエンジニアリングに関する経験レポート
- Abstract要約: 本報告では, コンプライアンスクリティカルなヒューマン・イン・ザ・ループ試験評価システムのエンドツーエンド構築と展開について報告する。
このシステムは、1人の開発者が手書きのコードを書かず、利害関係者のペルソナから監査された行動まで、強制的なプロセスによって保護されている。
AIは、不足しているものを変更することよりも、プログラミングを速くすることで、ソフトウェアエンジニアリングを変える。
- 参考スコア（独自算出の注目度）: 1.0297574788321668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding assistants are widely reported to speed up code production; most accounts stop there. We report the end-to-end construction and deployment of a compliance-critical, human-in-the-loop exam-grading system, built by a single developer who wrote no code by hand, protected by a gated process from stakeholder persona to audited behavior. The initial system was built in three working days and could grade a real cohort. We draw one claim from this experience: AI changes software engineering less by making programming faster than by changing what is scarce. Writing code becomes abundant. Reliable evaluation-knowing whether a result is correct and meets the actual need-remains necessary at every iteration and becomes the binding constraint. Engineering judgment remains a second scarcity. Several defects passed the test suite: they sat at the boundaries the tests had mocked, the browser and the language-model API, or appeared only in real use. Deployment exposed assumptions that local tests had missed. Moreover, an AI assistant acting across many steps bypassed process checkpoints until we made them enforceable gates. All of this was observed in a triple union: the developer was also the end user and domain expert, making expert judgment immediately available and evaluation as cheap as it can be. This favors the iteration gains, which may shrink where evaluation requires additional people or expertise, but makes the case a hard test for evaluation scarcity: evaluation still constrained progress. We draw five lessons: run a gated, traceable construction process; specify what is knowable and discover the rest against a running prototype; validate in the real environment; gate the assistant, not only the work; record decisions with their assumptions and the process state the assistant forgets. A second project showed similar patterns; an independent single-expert case corroborates the shift.
- Abstract（参考訳）: コーディングアシスタントはコード生産をスピードアップするために広く報告されている。
本報告では,一人の開発者が手書きのコードを書かず,利害関係者から監査行動への限定的なプロセスによって保護された,コンプライアンスクリティカルかつ人為的な試験段階のシステムの構築と展開について報告する。
最初のシステムは3日間で作られ、実際のコホートを格付けすることができた。
AIは、不足しているものを変更することよりも、プログラミングを速くすることで、ソフトウェアエンジニアリングを変える。
コードの記述が豊富になる。
信頼性の高い評価-結果が正しいかどうかを知り、各イテレーションで必要とされる実際の要求残量を満たし、バインディング制約となる。
工学的判断は依然として2番目の希少さである。
テストがモックしたバウンダリ、ブラウザ、言語モデルAPI、あるいは実際の使用しかなかった、いくつかの欠陥がテストスイートを通過した。
デプロイは、ローカルテストが失敗したという仮定を明らかにした。
さらに、AIアシスタントが、強制可能なゲートを作るまで、プロセスチェックポイントをバイパスしました。
開発者はエンドユーザとドメインの専門家でもあり、専門家の判断をすぐに利用でき、可能な限り安価に評価することができます。
これは、評価が追加の人や専門知識を必要とする場合は縮小するが、評価不足の難しいテストになる。
ゲートされたトレーサブルな構築プロセスの実行、理解可能なものを特定し、実行中のプロトタイプに対して残りのものを見つけ出すこと、実際の環境で検証すること、作業だけでなくアシスタントをゲートすること、前提とプロセス状態の判断を記録すること、の5つの教訓を導きます。
2つ目のプロジェクトは同様のパターンを示し、独立したシングルエキスパートケースがシフトを裏付ける。
関連論文リスト
- EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses [50.93446596863591]
EngramBenchは、ソリューションオーバーラップすることなく、厳密なオーバーラップの公理に支配される機能基底ベンチマークである。
人間の専門的検証によって裏付けられた48の複数時間実行軌跡に対する我々の評価は、手続き記憶に関する深い洞察を浮き彫りにしている。
破滅的なトークン重大な試行錯誤からエージェントを遠ざけることで、真の能力抽象化は冗長なコンテキストの肥大を削減し、全体的なコーディング時間を55%以上削減します。
論文 参考訳（メタデータ） (2026-09-30T08:33:17Z) - Vibe Coding: Practice, Performance, Productivity, and Risk -A State-of-the-Art Review [5.061021429555365]
最先端のレビューでは、ソフトウェア工学、人間とコンピュータの相互作用、労働経済学、セキュリティ研究、ガバナンス、教育にまたがる学際的コーパスにまたがる証拠がまとめられている。
モデルランドスケープ、ツールエコシステム、タスクタイプによるパフォーマンス記録を調査し、初期ベンチマークは飽和しているがタスクレベルの能力は不均一である。
デプロイされたアプリケーションのセキュリティ上の障害、大規模コードと開発者テレメトリで見えるコード品質の劣化、未解決の著作権暴露、スキル萎縮の証拠を文書化します。
論文 参考訳（メタデータ） (2026-08-20T16:10:28Z) - Escaping the Quicksand: A Call to Arms [0.6288203290901819]
テスト、*具体化*、証明の柔軟な組み合わせに対する実践的なアプローチを議論する。
これにより、AIと人的開発の両方に、より効果的なフィードバックループが提供される。
さらによいのは、完全なテスト、プロパティベースのテスト、シンボリック実行、証明をサポートする仕様を使用することだ。
論文 参考訳（メタデータ） (2026-08-20T06:07:56Z) - Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。
彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。
タスク対応型実行-スコープ推定の欠如を論じる。
論文 参考訳（メタデータ） (2026-07-14T17:59:31Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - AgentX: Towards Agent-Driven Self-Iteration of Industrial Recommender Systems [82.01232437066487]
AgentXはプロダクションデプロイされたマルチエージェントシステムで、このプロダクション機能を再構築する。
自律的に生成し、実装し、評価し、レコメンデーション実験から学ぶ。
AgentXは4つの密結合したステージをクローズドループでオーケストレーションする。
論文 参考訳（メタデータ） (2026-06-25T10:42:28Z) - Rethinking Code Review in the Age of AI: A Vision for Agentic Code Review [2.2807488730605296]
本稿では,AIを利用したコードレビューワークフローの構想について述べる。
信頼性、バイアス、プライバシー、自動化バイアス、透明性、評価など、責任ある採用に対する大きなオープンな課題を特定します。
論文 参考訳（メタデータ） (2026-05-17T17:04:21Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - DeputyDev -- AI Powered Developer Assistant: Breaking the Code Review Logjam through Contextual AI to Boost Developer Productivity [38.585498338645856]
本研究は,AddicateDevの実装と有効性について検討する。
ViceDevはAIを利用したコードレビューアシスタントで、ソフトウェア開発プロセスの非効率性に対処するために開発された。
論文 参考訳（メタデータ） (2025-08-13T10:09:45Z) - Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。
我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。
結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
論文 参考訳（メタデータ） (2025-07-10T20:12:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。