論文の概要: Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems
- arxiv url: http://arxiv.org/abs/2605.19180v1
- Date: Mon, 18 May 2026 23:05:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.023472
- Title: Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems
- Title（参考訳）: 知識グラフ抽出のための多エージェントLLMフレームワークによるシステムテスト支援:イーサネットスイッチシステムによる事例研究
- Authors: Rongqi Pan, Mahboubeh Dadkhah, Jean Baptiste Minani, Hussein Al Osman, Lionel Briand, Haiwei Dong,
- Abstract要約: 本稿では、イーサネットスイッチ構成マニュアル(ESCM)に焦点を当てる。
本稿では,異なる産業状況に適応可能な汎用フレームワークを提案する。
ESCMから構成知識を構造化形式でキャプチャする知識グラフ(KG)を生成する。
- 参考スコア（独自算出の注目度）: 2.380943129168748
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Technical documents contain rich domain knowledge for automating downstream tasks such as system testing. While this paper focuses on Ethernet switch configuration manuals (ESCMs), we propose a general framework that can be adapted to different industrial contexts. ESCMs provide valuable domain knowledge for Ethernet switch testing, but their semi-structured format, implicit step attributes, and complex section dependencies make them difficult to directly leverage for test automation. To address this, we generate knowledge graphs (KGs) that capture configuration knowledge from ESCM in a structured form. We propose a multi-agent LLM-based framework that extracts, evaluates, and improves KGs from ESCMs using a fine-grained KG schema and an iterative Extract-Evaluate-Improve (EEI) loop. Our evaluation on 50 real-world ESCMs shows that our framework achieves high extraction correctness using the original prompts, with average correctness scores ranging from 0.97 to 0.99 across three extraction tasks. For challenging ESCMs, the EEI loop further improves correctness through manual-specific prompt refinement. Moreover, the LLM judgments and human evaluations show substantial agreement, with Cohen's kappa of at least 0.72 across all extraction tasks. Finally, feedback from industry testers indicates that the generated KGs can support the generation of useful and correct test case specifications (TCSs) for downstream testing.
- Abstract（参考訳）: 技術的文書には、システムテストのような下流タスクを自動化するための豊富なドメイン知識が含まれている。
本稿では,Ethernet switch configuration manuals (ESCMs)に焦点を当て,異なる産業状況に適応可能な汎用フレームワークを提案する。
ESCMは、イーサネットスイッチテストに貴重なドメイン知識を提供するが、その半構造化フォーマット、暗黙のステップ属性、複雑なセクション依存性は、テスト自動化に直接活用することが困難である。
これを解決するために、ESCMから構成知識を構造化形式でキャプチャする知識グラフ(KG)を生成する。
細粒度KGスキーマと反復抽出-評価-Improve(EEI)ループを用いて,ESCMからKGを抽出し,評価し,改良するマルチエージェントLCMベースのフレームワークを提案する。
実世界のESCM50件について評価したところ,本フレームワークは3つの抽出タスクの平均精度スコアが0.97から0.99の範囲で,元のプロンプトを用いて高い抽出精度を達成できることがわかった。
ESCMに挑戦するために、EEIループはマニュアル固有のプロンプトリファインメントによってさらに正確性を向上させる。
さらに、LLMの判断と人的評価は、コーエンのカッパが全抽出タスクで0.72以上であるのに対して、かなりの一致を示している。
最後に、業界テスタからのフィードバックは、生成されたKGが下流テストに有用な、正しいテストケース仕様(TCS)の生成をサポートすることを示唆している。
関連論文リスト
- BLINKG: A Benchmark for LLM-Integrated Knowledge Graph Generation [3.038521817582494]
LLM(Large Language Models)は、KG(Generating Knowledge Graphs)プロセスの自動化に使用することができる。
ヘテロジニアスデータソースからKGを構築する際のLCMのマッピング能力を評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2026-05-19T08:15:53Z) - Towards Agentic Test-Driven Quality Assurance for 6G Networks [0.0]
テスト駆動品質保証パラダイムとインテントコクリエーションを統合したエージェント型、インテント駆動のエンドツーエンド(E2E)オーケストレーションフレームワークを提案する。
このアーキテクチャは、TMフォーラムの情報モデルとカタログを使用して、標準に準拠した知識表現に基づいている。
論文 参考訳（メタデータ） (2026-04-25T12:58:36Z) - IDP Accelerator: Agentic Document Intelligence from Extraction to Compliance Validation [3.539467892338473]
IDP(Intelligent Document Processing) Acceleratorは、エンドツーエンドのドキュメントインテリジェンスのためのエージェントAIを実現するフレームワークである。
インタラクティブなデモでは、ユーザはドキュメントのパケットをアップロードし、分類結果を視覚化し、抽出したデータを探索することができる。
論文 参考訳（メタデータ） (2026-02-26T20:20:38Z) - A Generalizable Framework for Building Executable Domain-Specific LLMs under Data Scarcity: Demonstration on Semiconductor TCAD Simulation [20.174394305112198]
低リソース環境下でコンパクトで実行可能なドメイン固有LLMを構築するためのフレームワークを提案する。
半導体コンピュータ支援設計(TCAD)のためのTcadGPTのインスタンス化によるフレームワークの実証
1.5Mの合成QAペアとIR駆動のDPOデータセットを使用して、TcadGPTはSDE実行可能性テストにおいて85.6%のセマンティック精度と80.0%の構文パスレートを達成した。
論文 参考訳（メタデータ） (2026-01-15T07:13:34Z) - Auto-Prompting with Retrieval Guidance for Frame Detection in Logistics [0.0]
プロンプトエンジニアリングは、大規模な言語モデル(LLM)を大規模な微調整を必要とせずに複雑な推論やラベル付けタスクに適応する上で重要な役割を担っている。
本稿では,ロジスティクステキストにおけるフレーム検出のための新しいプロンプト最適化パイプラインを提案し,検索強化生成(RAG),少数ショットプロンプト,チェーン・オブ・シークレット(CoT)推論,自動CoT合成(Auto-CoT)を組み合わせて,タスク固有のプロンプトを生成する。
このフレームワークは実世界のロジスティクステキストアノテーションタスクで評価され、推論精度とラベリング効率が重要となる。
論文 参考訳（メタデータ） (2025-12-22T10:29:51Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。
MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。
MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
論文 参考訳（メタデータ） (2025-07-25T03:58:07Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning
over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。
KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。
有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文 参考訳（メタデータ） (2024-02-17T02:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。