論文の概要: LLM-Based Automated Diagnosis Of Integration Test Failures At Google
- arxiv url: http://arxiv.org/abs/2604.12108v1
- Date: Mon, 13 Apr 2026 22:30:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.147062
- Title: LLM-Based Automated Diagnosis Of Integration Test Failures At Google
- Title（参考訳）: LLMによるGoogleの統合テスト失敗の自動診断
- Authors: Celal Ziftci, Ray Liu, Spencer Greene, Livio Dalloro,
- Abstract要約: 統合テストは複雑なソフトウェアシステムの品質と信頼性にとって重要である。
開発者は、単体テストの失敗と比べて統合テストの失敗を診断するのが難しいと不満を言う。
LLMを利用した新しい診断ツールであるAuto-Diagnoseを導入し、開発者が統合テスト失敗の根本原因を効率的に判断できるようにする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Integration testing is critical for the quality and reliability of complex software systems. However, diagnosing their failures presents significant challenges due to the massive volume, unstructured nature, and heterogeneity of logs they generate. These result in a high cognitive load, low signal-to-noise ratio, and make diagnosis difficult and time-consuming. Developers complain about these difficulties consistently and report spending substantially more time diagnosing integration test failures compared to unit test failures. To address these shortcomings, we introduce Auto-Diagnose, a novel diagnosis tool that leverages LLMs to help developers efficiently determine the root cause of integration test failures. Auto-Diagnose analyzes failure logs, produces concise summaries with the most relevant log lines, and is integrated into Critique, Google's internal code review system, providing contextual and in-time assistance. Based on our case studies, Auto-Diagnose is highly effective. A manual evaluation conducted on 71 real-world failures demonstrated 90.14% accuracy in diagnosing the root cause. Following its Google-wide deployment, Auto-Diagnose was used across 52, 635 distinct failing tests. User feedback indicated that the tool was deemed "Not helpful" in only 5.8% of cases, and it was ranked #14 in helpfulness among 370 tools that post findings in Critique. Finally, user interviews confirmed the perceived usefulness of Auto-Diagnose and positive reception of integrating automatic diagnostic assistance into existing workflows. We conclude that LLMs are highly successful in diagnosing integration test failures due to their capacity to process and summarize complex textual data. Integrating such AI-powered tooling automatically into developers' daily workflows is perceived positively, with the tool's accuracy remaining a critical factor in shaping developer perception and adoption.
- Abstract（参考訳）: 統合テストは複雑なソフトウェアシステムの品質と信頼性にとって重要である。
しかし、その失敗を診断することは、大量の量、非構造的な性質、そしてそれらが生成するログの不均一性によって大きな課題を生じさせる。
これらの結果、認知負荷が高く、信号対雑音比が低く、診断が難しく、時間がかかります。
開発者はこれらの困難に一貫して不満を呈し、単体テストの失敗に比べて統合テストの失敗を診断するのに要する時間をかなり多く報告する。
これらの欠点に対処するため,開発者が統合テスト失敗の根本原因を効率的に判断するのに役立つ,LSMを利用した新しい診断ツールであるAuto-Diagnoseを紹介した。
Auto-Diagnoseは障害ログを分析し、最も関連するログ行で簡潔な要約を生成し、Googleの内部コードレビューシステムであるCristiqueに統合され、コンテキストとインタイムのアシストを提供する。
本症例では,自己診断が極めて有効である。
71件の現実世界の故障を手動で評価したところ、根本原因の診断に90.14%の精度が得られた。
Google全体のデプロイの後、Auto-Diagnoseは52,635の異なるテストで使用された。
ユーザからのフィードバックによると、このツールは5.8%のケースで「役に立たない」と考えられており、Crytiqueで発見を投稿する370のツールの中で14位にランクされた。
最後に、ユーザインタビューは、自己診断の有用性と、既存のワークフローに自動診断補助を統合することの肯定的な受容を確認した。
LLMは、複雑なテキストデータを処理・要約する能力のため、統合テストの失敗の診断に成功していると結論付けている。
このようなAIベースのツールを開発者の日々のワークフローに自動的に統合することは肯定的であり、ツールの正確性は開発者の認識と採用を形作る上で重要な要素である。
関連論文リスト
- SDVDiag: Using Context-Aware Causality Mining for the Diagnosis of Connected Vehicle Functions [0.35232085374661287]
本稿では,人間のフィードバックとシステム固有の情報を因果解析プロセスに統合するマルチモーダルアプローチを提案する。
その結果, 因果縁検出の精度は14%から100%に向上した。
論文 参考訳（メタデータ） (2026-04-03T18:50:25Z) - VIBEPASS: Can Vibe Coders Really Pass the Vibe Check? [46.85901599242161]
emphFault-Triggering Test Generation(FT-Test)とemphFault-targeted Program repair(FPR)の2つの組み合わせタスクを評価した。
故障対象推論は一般的な符号化能力ではスケールしないことがわかった。
自己生成テストが障害の発見に成功すると、結果として得られた修復結果が外部から提供されたテストによってガイドされた修復と一致したり、性能が低下する。
論文 参考訳（メタデータ） (2026-03-16T21:14:28Z) - An explainable hybrid deep learning-enabled intelligent fault detection and diagnosis approach for automotive software systems validation [2.7082111912355877]
ASSのリアルタイム検証プロセスから記録を解析するインテリジェントモデルを開発した。
説明可能なAI技術(IGs、DeepLIFT、Gradient SHAP、DeepLIFT SHAP)の活用は、モデル適応と根本原因分析(RCA)の促進に役立った。
論文 参考訳（メタデータ） (2026-03-09T09:46:28Z) - Timely Clinical Diagnosis through Active Test Selection [49.091903570068155]
本稿では,現実の診断推論をよりうまくエミュレートするためのACTMED (Adaptive Clinical Test selection via Model-based Experimental Design)を提案する。
LLMは柔軟なシミュレータとして機能し、構造化されたタスク固有のトレーニングデータを必要とせずに、患者状態のもっともらしい分布を生成し、信念の更新をサポートする。
我々は、実世界のデータセット上でACTMEDを評価し、診断精度、解釈可能性、リソース使用量を改善するためにテスト選択を最適化できることを示す。
論文 参考訳（メタデータ） (2025-10-21T18:10:45Z) - Probabilistic Machine Learning for Uncertainty-Aware Diagnosis of Industrial Systems [2.7946438090394903]
本研究では、アンサンブル確率論的機械学習を用いて、データ駆動一貫性に基づく診断の診断特性を改善するフレームワークを提案する。
本手法はアブレーション法と比較解析法の両方を用いていくつかのケーススタディで評価され, 診断基準の範囲で一貫した改善が見られた。
論文 参考訳（メタデータ） (2025-09-23T08:59:20Z) - Leveraging Large Language Models for Efficient Failure Analysis in Game Development [47.618236610219554]
本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。
このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。
当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
論文 参考訳（メタデータ） (2024-06-11T09:21:50Z) - Automated Test Case Repair Using Language Models [0.5708902722746041]
欠陥のないテストケースは、テストスイートの品質を低下させ、ソフトウェア開発プロセスを破壊します。
テストケースの自動修復に事前訓練されたコード言語モデルを活用する新しいアプローチであるTaRGETを提案する。
TaRGETは、テスト修復を言語翻訳タスクとして扱い、言語モデルを微調整するために2段階のプロセスを使用する。
論文 参考訳（メタデータ） (2024-01-12T18:56:57Z) - Towards the Identifiability and Explainability for Personalized Learner
Modeling: An Inductive Paradigm [36.60917255464867]
本稿では,エンコーダ・デコーダモデルにインスパイアされた新しい応答効率応答パラダイムに基づく,識別可能な認知診断フレームワークを提案する。
診断精度を損なうことなく,ID-CDFが効果的に対処できることが示唆された。
論文 参考訳（メタデータ） (2023-09-01T07:18:02Z) - Anytime Diagnosis for Reconfiguration [52.77024349608834]
我々は、いつでも直接診断できるflexdiagを紹介し分析する。
特徴モデルの領域からの構成ベンチマークと自動車領域からの産業構成知識ベースを使用して、性能および診断品質に関するアルゴリズムを評価します。
論文 参考訳（メタデータ） (2021-02-19T11:45:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。