論文の概要: A Study of the Reliability of Agentic AI-Generated Programs
- arxiv url: http://arxiv.org/abs/2609.18298v2
- Date: Wed, 23 Sep 2026 14:16:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.637558
- Title: A Study of the Reliability of Agentic AI-Generated Programs
- Title（参考訳）: エージェントAI生成プログラムの信頼性に関する研究
- Abstract要約: Agentic-AIベースのソフトウェア開発は、ソフトウェアを迅速に完成させ、プログラマの効率を高め、より信頼性の高いコードを提供する。
私たちは、よく知られた、リリース品質の人手書きLinuxユーティリティプログラムを10つテストしました。
ユーティリティプログラムのAI生成バージョンは、一般的に、最新の人間生成バージョンよりも信頼性(多くの場合、信頼性)が高いことが分かりました。
- 参考スコア（独自算出の注目度）: 0.09176056742068811
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic-AI based software development offers the promise of faster completion of the software, greater programmer efficiency, and more reliable code. The question is how can we verify these claims in an objective way? In this project, we attempted to answer this question based on three practices. First, we applied a typical best-practices agentic AI workflow for software development. Second, our target programs were ten well-known, release-quality human-written Linux utility programs so that we could compare the AI-generated code against a concrete ground truth. Third, we based our measure of reliability on a widely used testing technique, fuzz random testing. For this testing, we used both classic black box, generational testing and more modern coverage guided (gray box, mutational) testing using AFL++. We found that the AI-generated versions of the utility programs were typically as reliable - often more reliable - than the latest human-generated versions of these programs. While the AI-generated versions did have some failures, they were less common than the code from the standard repositories. Interestingly, the AI-generated code was less likely to have failures such as memory errors (such as buffer overflows) but more likely to have hangs such as infinite loops. In addition, we verified that generating robust and reliable software using agentic AI requires careful practice and human supervision. The quality of the code is highly dependent on the prompts and skills used, and how the human directing the process responds. We also demonstrated that using agentic AI workflow for software development (with its prompts and skills) can become a specification of the code that leads to cost-effective sustainability of the software.
- Abstract（参考訳）: Agentic-AIベースのソフトウェア開発は、ソフトウェアを迅速に完成させ、プログラマの効率を高め、より信頼性の高いコードを提供する。
問題は、これらの主張を客観的にどのように検証できるかである。
このプロジェクトでは,3つのプラクティスに基づいて,この問題に答えようと試みた。
まず、ソフトウェア開発に典型的なベストプラクティスのエージェントAIワークフローを適用した。
第2に、私たちのターゲットプログラムは、よく知られた、リリース品質の人手書きLinuxユーティリティプログラムで、AI生成したコードと具体的な根拠の真実を比較できるようにしました。
第3に、我々は信頼度の測定を、広く使われているテスト手法であるファズランダムテストに基づいて測定した。
このテストでは、古典的なブラックボックス、世代別テスト、AFL++を使ったより現代的なカバレッジガイド(グレーボックス、突然変異)テストの両方を使用しました。
ユーティリティプログラムのAI生成バージョンは、一般的に、最新の人間生成バージョンよりも信頼性(多くの場合、信頼性)が高いことが分かりました。
AI生成バージョンにはいくつかの障害があったが、標準リポジトリのコードよりも一般的ではなかった。
興味深いことに、AI生成されたコードは、メモリエラー(バッファオーバーフローなど)のような失敗する可能性は低いが、無限ループのようなハングを持つ可能性が低い。
さらに,エージェントAIを用いた堅牢で信頼性の高いソフトウェアを生成するには,注意深い実践と人的監督が必要であることも確認した。
コードの品質は、使用するプロンプトやスキル、プロセスの指示がどう反応するかに大きく依存します。
私たちはまた、エージェントAIワークフローを(そのプロンプトとスキルで)ソフトウェア開発に使用することが、ソフトウェアのコスト効率の持続可能性につながるコードの仕様になることを示した。
関連論文リスト
- MirrorCode: AI can rebuild entire programs from behavior alone [1.052679131856939]
MirrorCodeは、ソフトウェアプロジェクト全体の再実装に基づく、長期にわたるコーディングベンチマークである。
既存のAIモデルは、すでに複雑なソフトウェアを再実装できる。
我々はAIエージェントが、特に要求が正確に指定された場合に、既に長期のソフトウェアエンジニアリングタスクを完了できることを示します。
論文 参考訳（メタデータ） (2026-06-29T11:57:32Z) - ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。
エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。
モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
論文 参考訳（メタデータ） (2026-05-05T09:17:02Z) - Agentic AI-assisted coding offers a unique opportunity to instill epistemic grounding during software development [0.02058747290260746]
チャットベースのビブコーディングは、エージェントの足場を使用したAI支援エージェントソフトウェア開発に進化した。
現在のトレンドの1つは、プロジェクトやメソッドスコープドドキュメントのような、この計画文書を超えてドキュメントを活用することです。
ここでは、コミュニティが管理するフィールドスコープの基盤文書であるGROUNDING.mdを提案する。
論文 参考訳（メタデータ） (2026-04-23T14:50:35Z) - Debt Behind the AI Boom: A Large-Scale Empirical Study of AI-Generated Code in the Wild [13.35459155979355]
我々は6,275のGitHubリポジトリから304,362の認証済みAI認証コミットのデータセットを構築します。
484,606の異なる問題を特定し、コードの臭いは最も一般的な型であり、すべての問題の89.1%を占めています。
これらの結果は、AI生成コードは、実際のソフトウェアプロジェクトに長期のメンテナンスコストをもたらす可能性があることを示している。
論文 参考訳（メタデータ） (2026-03-30T15:38:05Z) - Vibe Coding in Practice: Motivations, Challenges, and a Future Outlook -- a Grey Literature Review [2.5195922470930614]
バイブコーディング(Vibe coding)とは、AIコード生成ツールを直感や試行錯誤を通じて、基礎となるコードを必ずしも理解せずに使用するプラクティスである。
ユーザーがなぜバイブコーディングに関わったのか、何を経験しているか、品質保証(QA)にどのようにアプローチし、AI生成コードの品質を知覚するかを体系的に調査した研究はない。
私たちの分析では、スピードとアクセシビリティによってビブコーダがモチベーションを得て、迅速な即時的な成功とフローを経験する"という、スピード品質のトレードオフパラドックスを明らかにしています。
論文 参考訳（メタデータ） (2025-09-30T22:35:00Z) - Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。
我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。
結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
論文 参考訳（メタデータ） (2025-07-10T20:12:54Z) - A Preliminary Study on Using Large Language Models in Software
Pentesting [2.0551676463612636]
大規模言語モデル(LLM)は、セキュリティタスクを自動化するための有望な可能性を提供すると考えられている。
ソフトウェアペンテスティングにおけるLLMの使用について検討し,ソースコード中のソフトウェアセキュリティ脆弱性を自動的に識別する作業を行う。
論文 参考訳（メタデータ） (2024-01-30T21:42:59Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-06-04T22:01:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。