論文の概要: Performance Evaluation of LLMs in Automated RDF Knowledge Graph Generation

• arxiv url: http://arxiv.org/abs/2603.29878v1
• Date: Fri, 06 Feb 2026 06:30:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.165555
• Title: Performance Evaluation of LLMs in Automated RDF Knowledge Graph Generation
• Title（参考訳）: 自動RDF知識グラフ生成におけるLCMの性能評価
• Authors: Ioana Ramona Martin, Tudor Cioara, Ionut Anghel, Gabriel Arcas,
• Abstract要約: 大規模言語モデル(LLM)はRDF知識グラフ生成を自動化するための有望なアプローチを提供する。 我々は,複数のLPMを評価し,制御フレームワークを用いた自動RDF抽出手法を提案する。 Llama は 99.35% の F1 スコアと100% 有効な RDF 出力を達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Cloud systems generate large, heterogeneous log data containing critical infrastructure, application, and security information. Transforming these logs into RDF triples enables their integration into knowledge graphs, improving interpretability, root-cause analysis, and cross-service reasoning beyond what raw logs allow. Large Language Models (LLMs) offer a promising approach to automate RDF knowledge graph generation; however, their effectiveness on complex cloud logs remains largely unexplored. In this paper, we evaluate multiple LLM architectures and prompting strategies for automated RDF extraction using a controlled framework with two pipelines for systematically processing semi-structured log data. The extraction pipeline integrates multiple LLMs to identify relevant entities and relationships, automatically generating subject-predicate-object triples. These outputs are evaluated using a dedicated validation pipeline with both syntactic and semantic metrics to assess accuracy, completeness, and quality. Due to the lack of public ground-truth datasets, we created a reference Log-to-KG dataset from OpenStack logs using manual annotation and ontology-driven methods, enabling objective baseline. Our analysis shows that Few-Shot learning is the most effective strategy, with Llama achieving a 99.35% F1 score and 100% valid RDF output while Qwen, NuExtract, and Gemma also perform well under Few-Shot prompting, with Chain-of-Thought approaches maintaining similar accuracy. One-Shot prompting offers a lighter but effective alternative, while Zero-Shot and advanced strategies such as Tree-of-Thought, Self-Critique, and Generate-Multiple perform substantially worse. These results highlight the importance of contextual examples and prompt design for accurate RDF extraction and reveal model-specific limitations across LLM architectures.
• Abstract（参考訳）: クラウドシステムは、重要なインフラストラクチャ、アプリケーション、セキュリティ情報を含む大規模で異質なログデータを生成する。 これらのログをRDFトリプルに変換することで、ナレッジグラフへの統合、解釈可能性の向上、根本原因分析、生ログが許す以上のサービス間推論が可能になる。 大規模言語モデル(LLM)はRDF知識グラフ生成を自動化するための有望なアプローチを提供するが、複雑なクラウドログに対するそれらの有効性は、まだ明らかにされていない。 本稿では,複数のLLMアーキテクチャを評価し,半構造化ログデータを体系的に処理する2つのパイプラインを持つ制御フレームワークを用いて,自動RDF抽出のための戦略を提案する。 抽出パイプラインは複数のLCMを統合し、関連するエンティティと関係を識別し、自動的に主観的述語オブジェクトトリプルを生成する。 これらの出力は、セマンティックメトリクスとセマンティックメトリクスの両方で専用の検証パイプラインを使用して評価され、正確性、完全性、品質を評価する。 パブリックな基盤構造データセットがないため、手動のアノテーションとオントロジー駆動のメソッドを使用して、OpenStackログからログからKGへの参照データセットを作成し、客観的なベースラインを可能にしました。 Llamaは99.35%のF1スコアと100%有効なRDF出力を達成し、Qwen, NuExtract, GemmaはFew-Shotプロンプトの下でも良好に動作し、Chain-of-Thoughtアプローチも同様の精度を維持している。 ワンショットプロンプトはより軽量で効果的な代替手段を提供するが、ゼロショットやツリー・オブ・ソート、自己批判、ジェネレート・マルティプルといった先進的な戦略は著しく悪化する。 これらの結果は, 実例の重要性を強調し, 正確なRDF抽出のための設計を促し, LLMアーキテクチャ全体にわたるモデル固有の制約を明らかにする。

関連論文リスト

• Relatron: Automating Relational Machine Learning over Relational Databases [50.94254514286021]
  本稿では, RDL と DFS を共有設計空間に統合し, 多様な RDB タスクを対象としたアーキテクチャ中心の検索を行う。 RDLはDFSを一貫して上回り、高いタスク依存性を持つ。(2)タスク全体において単一のアーキテクチャが支配的であり、タスク認識モデル選択の必要性を強調し、精度は選択アーキテクチャの信頼性の低いガイドである。
  論文  参考訳（メタデータ） (2026-02-26T02:45:22Z)
• LLMLogAnalyzer: A Clustering-Based Log Analysis Chatbot using Large Language Models [3.9679162824731686]
  システムログはサイバーセキュリティの基盤であり、積極的な侵害防止と事故後の調査をサポートする。 大量のログデータを解析することは、高いコスト、社内の専門知識の欠如、時間制約など、多くの組織にとって基本的な分析が難しいため、依然として非常に難しい。 本研究では、機械学習ベースのログ分析フレームワークであるLLMLogAnalyzerを紹介する。
  論文  参考訳（メタデータ） (2025-10-28T03:29:55Z)
• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• System Log Parsing with Large Language Models: A Review [2.2779174914142346]
  大規模言語モデル (LLM) はLLMに基づくログ解析の新しい研究分野を導入した。 有望な結果にもかかわらず、この比較的新しい研究分野におけるアプローチの構造化された概要は存在しない。 この研究は29 LLMベースのログ解析手法を体系的にレビューする。
  論文  参考訳（メタデータ） (2025-04-07T09:41:04Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Learning Representations on Logs for AIOps [6.47086647390439]
  大規模言語モデル(LLM)は、膨大な量のラベルのないデータに基づいて自己監督を用いて訓練される。 本稿では,パブリックおよびプロプライエタリなログデータに基づいてトレーニングされたログデータのためのLLMを提案する。 提案するLLMは,公開およびプロプライエタリなログデータに基づいてトレーニングされ,複数のダウンストリームタスクにおいて優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-08-18T20:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。