論文の概要: A Large-Scale Empirical Study of Quality Assurance Practices and Gaps in AI Agents

• arxiv url: http://arxiv.org/abs/2609.17698v1
• Date: Tue, 15 Sep 2026 18:10:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.494633
• Title: A Large-Scale Empirical Study of Quality Assurance Practices and Gaps in AI Agents
• Title（参考訳）: AIエージェントの品質保証実践とギャップに関する大規模実証研究
• Abstract要約: 大規模言語モデル(LLM)ベースのエージェントは、ソフトウェアエンジニアリング、Web自動化、研究、生産性アプリケーションでますます利用されている。 我々は、少なくとも100のGitHubスターを持つ157のオープンソースLLMベースのエージェントプロジェクトにおいて、品質保証(QA)の実践に関する大規模な実証的研究を示す。
• 参考スコア（独自算出の注目度）: 6.904187672575634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM)-based agents are increasingly used across software engineering, web automation, research, and productivity applications. Their integration of planning, memory, tool use, code execution, and external interactions enables greater autonomy but also introduces new reliability, safety, and security risks. We present a large-scale empirical study of quality assurance (QA) practices in 157 open-source LLM-based agent projects with at least 100 GitHub stars. We analyze documentation, source code, configurations, and tests to characterize QA practices across execution surfaces, safeguards, testing artifacts, risk scenarios, and recurring gaps. We find that current QA primarily focuses on basic functionality and high-risk actions, while coverage remains fragmented. Safeguards are inconsistently applied across equivalent execution routes, tests rarely examine boundary, adversarial, or multi-step tool-use failures, and identified risks are seldom translated into end-to-end QA checks. These findings highlight the need to move beyond feature-level testing toward systematic end-to-end validation that ensures agent workflows remain within intended boundaries when interacting with untrusted inputs, tools, persistent state, and external APIs.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのエージェントは、ソフトウェアエンジニアリング、Web自動化、研究、生産性アプリケーションでますます利用されている。 計画、メモリ、ツールの使用、コード実行、外部インタラクションの統合は、より自律性を高めるだけでなく、新たな信頼性、安全性、セキュリティリスクも導入する。 我々は、少なくとも100のGitHubスターを持つ157のオープンソースLLMベースのエージェントプロジェクトにおいて、品質保証(QA)の実践に関する大規模な実証的研究を示す。 ドキュメントやソースコード,コンフィギュレーション,テストを分析して,実行面やセーフガード,アーティファクトのテスト,リスクシナリオ,繰り返し発生するギャップを越えたQAプラクティスを特徴付けるのです。 現在のQAは主に基本的な機能とリスクの高いアクションに焦点を当てていますが、カバレッジは断片化されています。 セーフガードは等価な実行ルートを越えて不整合に適用され、テストは境界、敵、多段階のツール使用障害を検査することは滅多になく、特定されたリスクはエンドツーエンドのQAチェックにはほとんど変換されない。 これらの調査結果は、信頼できないインプットやツール、永続的な状態、外部APIとのインタラクションにおいて、エージェントワークフローが意図されたバウンダリ内に留まることを保証するため、機能レベルのテストから、体系的なエンドツーエンドバリデーションに移行する必要性を強調している。

関連論文リスト

• Large Language Models at the Intersection of Software Engineering and Software Security:An Evidence-Centered Structured Survey and Research Agenda [8.73908281393875]
  大規模言語モデル(LLM)は、コード補完から、コンテキストを取得し、ファイルを編集し、ツールを実行し、セキュリティに敏感な証明に参加するリポジトリスケールエージェントへと移行している。 このエビデンス中心の構造化された調査は、ソフトウェアエンジニアリングタスク、ソフトウェアセキュリティタスク、適応メカニズム、アーティファクトの粒度、評価設計を含む2026年5月31日までに利用可能な代表的作業を合成する。
  論文  参考訳（メタデータ） (2026-08-21T13:54:38Z)
• UA-ChatDev: Uncertainty-Aware Multi-Agent Collaboration for Reliable Software Development [0.3670422696827525]
  UA-ChatDevは不確実性を認識したマルチエージェントソフトウェア開発フレームワークである。 不確実な定量化をエージェント相互作用に統合する。 既存の単一エージェントとマルチエージェントのソフトウェア開発フレームワークを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-07-02T13:56:57Z)
• SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents [87.26967184869198]
  SeClawは、仕様駆動のセキュリティタスク合成と、自律エージェントの実行ベースのセキュリティ評価を組み合わせたフレームワークである。 ベンチマークは、リソース、ユーザタスク、環境、本質的なエージェントの振る舞いから生じるリスクをカバーしている。
  論文  参考訳（メタデータ） (2026-06-01T14:23:42Z)
• Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
  エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。 この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。 各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
  論文  参考訳（メタデータ） (2026-05-17T10:26:37Z)
• Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
  大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。 LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。 モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
  論文  参考訳（メタデータ） (2026-01-12T21:31:38Z)
• The Rise of Agentic Testing: Multi-Agent Systems for Robust Software Quality Assurance [0.0]
  現在のAIベースのテストジェネレータは、実行意識のフィードバックがないため、無効、冗長、あるいは実行不可能なテストを生成する。 本稿では,テスト生成エージェント,実行・分析エージェント,レビュー・最適化エージェントが協調してテストの生成,実行,解析,精査を行う,クローズドループの自己修正システムを提案する。
  論文  参考訳（メタデータ） (2026-01-05T18:20:14Z)
• Aspect-Oriented Programming in Secure Software Development: A Case Study of Security Aspects in Web Applications [0.0]
  本研究では,セキュアなソフトウェア開発におけるアスペクト指向プログラミング(AOP)の役割について検討する。 認証、認可、入力検証、暗号化、ロギング、セッション管理を含むAOPベースのセキュリティ機能の実装を比較します。 その結果、AOPは、最小パフォーマンスオーバーヘッドしか導入せず、モジュール性、再利用性、セキュリティメカニズムの保守性を向上することを示した。
  論文  参考訳（メタデータ） (2025-09-09T07:12:55Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
  言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。 これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。 ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
  論文  参考訳（メタデータ） (2023-09-25T17:08:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。