論文の概要: Supporting Industrial Test-Failure Analysis with LLM-Based Systems: An Experience Report
- arxiv url: http://arxiv.org/abs/2609.21843v1
- Date: Fri, 18 Sep 2026 14:39:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.15149
- Title: Supporting Industrial Test-Failure Analysis with LLM-Based Systems: An Experience Report
- Title（参考訳）: LLMシステムによる産業試験欠陥解析支援:経験報告
- Abstract要約: 本研究では、Westermo Network Technologies ABにおける夜間テスト障害のルート原因分析(RCA)を支援するためのツール拡張大型言語モデル(LLM)システムについて検討した。
テストメタデータとログへのアクセスの両方で、単エージェントとオーケストレーションされたマルチエージェント構成でRCAワークフローを実装しました。
評価は、コスト、持続時間、一貫性だけでなく、実践者が認識した正しさ、推論品質、修正リアリズム、明確性、有用性、信頼をカバーした。
- 参考スコア（独自算出の注目度）: 6.448990155653955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study examines tool-augmented Large Language Model (LLM) systems for supporting Root Cause Analysis (RCA) of nightly test failures at Westermo Network Technologies AB. Nightly test executions produce heterogeneous test data and logs that practitioners currently inspect manually across multiple sources. We implemented an RCA workflow in single-agent and orchestrated multi-agent configurations, both with access to test metadata and logs. An exploratory industrial case study used two real failure scenarios. Six practitioners evaluated the scenario reports through a survey and focus group, and operational measurements were collected from 120 repeated executions. The evaluation covered practitioner-perceived correctness, reasoning quality, fix realism, clarity, usefulness, and trust, as well as cost, duration, and consistency. Neither configuration showed a consistent practitioner-perceived quality advantage across the two scenarios. The single agent system generated reports faster and at lower cost, making it the more practical baseline in this context. The potential benefits of agent architectures require further evaluation in more complex scenarios.
- Abstract（参考訳）: 本研究では、Westermo Network Technologies ABにおける夜間テスト障害のルート原因分析(RCA)を支援するためのツール拡張大型言語モデル(LLM)システムについて検討した。
夜間テストの実行は異質なテストデータとログを生成し、実践者が現在、複数のソースをまたいで手動で検査している。
テストメタデータとログへのアクセスの両方で、単エージェントとオーケストレーションされたマルチエージェント構成でRCAワークフローを実装しました。
探索的な産業ケーススタディでは、2つの実際の失敗シナリオが使用された。
6人の実践者が調査と焦点グループを通じてシナリオレポートを評価し,120回の反復実行から運用計測を行った。
評価は、コスト、持続時間、一貫性だけでなく、実践者が認識した正しさ、推論品質、修正リアリズム、明確性、有用性、信頼をカバーした。
どちらの構成も、2つのシナリオで一貫した実践者による品質上の優位性は示さなかった。
単一のエージェントシステムはレポートを高速かつ低コストで生成し、この文脈ではより実用的なベースラインとなった。
エージェントアーキテクチャの潜在的な利点は、より複雑なシナリオでさらなる評価を必要とする。
関連論文リスト
- ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Multi-Agent Systems for Root Cause Analysis in Microservices [58.95503998127531]
LATS-RCAはMSSの根本原因分析のためのマルチエージェントフレームワークである。
リフレクションスコアは、最も可能性が高い根本原因への探索を導くために使用される。
我々は,オープンソースの産業MSSであるLight-OAuth2上でLATS-RCAを評価する。
論文 参考訳（メタデータ） (2026-05-05T08:39:42Z) - DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding [63.257540233507626]
本稿では、構造化解析、局所化、推論のワークフローを実行するためにモデルを必要とするパラダイムを提案する。
ショートページトレーニングから超長文書への堅牢な一般化を示し、視覚的検索・拡張生成システムと自然に相乗効果を示す。
論文 参考訳（メタデータ） (2026-04-14T14:39:26Z) - Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets [14.028807574426748]
データ処理の不等式に基づく情報理論の議論を示す。
トークンを一定に保った場合,SASはマルチホップ推論タスクにおいてMASと一貫して一致し,より優れることがわかった。
以上の結果から,マルチホップ推論タスクにおいて,マルチエージェントシステムのアドバンテージを未計算の計算や文脈効果によってよりよく説明できることが示唆された。
論文 参考訳（メタデータ） (2026-04-02T18:47:48Z) - Automating Computational Reproducibility in Social Science: Comparing Prompt-Based and Agent-Based Approaches [0.3637090866781549]
計算研究の再現は、提供されたデータで元のコードを再実行するのと同じくらい単純であるとしばしば考えられている。
本研究では,大規模な言語モデルとAIエージェントが,そのような障害の診断と修復を自動化できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-02-09T11:59:59Z) - Stalled, Biased, and Confused: Uncovering Reasoning Failures in LLMs for Cloud-Based Root Cause Analysis [5.532586951580959]
LLMの推論動作を分離する実験的な評価手法を提案する。
我々は16の共通RCA推論失敗の分類をラベル付きで作成し、アノテーションにLLM-as-a-Judgeを使用する。
論文 参考訳（メタデータ） (2026-01-29T18:23:26Z) - Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning [112.16686518063456]
textbfMulti-Agent Test-Time Reinforcement Learning (MATTRL)を導入する。
MATTRLは、マルチターンの議論、テストタイムの経験の検索と統合、最終的な意思決定のコンセンサスに到達するための、複数の専門家のチームを形成する。
MATTRLは、医学、数学、教育の挑戦的なベンチマーク全体にわたって、マルチエージェントベースラインで平均3.67%、同等のシングルエージェントベースラインで平均8.67%の精度を向上する。
論文 参考訳（メタデータ） (2026-01-14T17:57:43Z) - Automatic Building Code Review: A Case Study [6.530899637501737]
建設担当者は、プロジェクトのサイズと複雑さが増大するにつれて、労働集約的で、エラーを起こし、コストがかかる設計文書のレビューに直面します。
本研究では,BIMに基づくデータ抽出と自動検証を統合したエージェント駆動型フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-03T00:30:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。