論文の概要: BLINKG: A Benchmark for LLM-Integrated Knowledge Graph Generation

• arxiv url: http://arxiv.org/abs/2605.19518v1
• Date: Tue, 19 May 2026 08:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.20109
• Title: BLINKG: A Benchmark for LLM-Integrated Knowledge Graph Generation
• Title（参考訳）: BLINKG: LLM統合知識グラフ生成のためのベンチマーク
• Authors: Carla Castedo, Enrique Iglesias, Manuel Lama, Alberto Bugarin-Diz, Maria-Esther Vidal, David Chaves-Fraga,
• Abstract要約: LLM(Large Language Models)は、KG(Generating Knowledge Graphs)プロセスの自動化に使用することができる。 ヘテロジニアスデータソースからKGを構築する際のLCMのマッピング能力を評価するためのベンチマークを提案する。
• 参考スコア（独自算出の注目度）: 3.038521817582494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating Knowledge Graphs (KGs) remains one of the most time-consuming and labor-intensive tasks for knowledge engineers, as they need to identify semantic equivalences between input data sources and ontology terms. While declarative solutions (e.g., RML, SPARQL-Anything) have helped to generalize this process, aligning input schema elements with ontology terms still involves intricate transformations and requires considerable manual effort. With the advent of Large Language Models (LLMs), there is growing interest in leveraging their capabilities to assist KG engineers. Although some studies have explored using LLMs to automate KG construction, there is still no standardized framework for assessing how effectively they establish correspondences between data schemes and ontology concepts. Therefore, in this paper, we propose BLINKG, a benchmark designed to evaluate the mapping capabilities of LLMs in constructing KGs from heterogeneous data sources. The benchmark includes a set of scenarios with increasing complexity, based on real-world use cases. We conduct an extensive experimental evaluation of several stateof-the-art LLMs using BLINK and observe that they already offer promising solutions. However, their performance remains limited in complex scenarios. Thanks to this benchmark, we can already assess the current capabilities of LLMs for KG construction. Additionally, we define a set of requirements for achieving (semi)automated (LLM-driven) KG construction, opening new research lines in this area.
• Abstract（参考訳）: 知識グラフの生成(KGs)は、入力データソースとオントロジーの用語間の意味的等価性を識別する必要があるため、知識技術者にとって最も時間を要する作業の1つである。 宣言型ソリューション(例えば、RML、SPARQL-Anything)は、このプロセスを一般化するのに役立っているが、入力スキーマ要素とオントロジー用語を整合させるには、複雑な変換が必要であり、手作業がかなり必要である。 LLM(Large Language Models)の出現に伴い、KGエンジニアを支援する能力を活用することへの関心が高まっている。 一部の研究では、KG構築の自動化にLLMを使うことを検討したが、データスキームとオントロジーの概念の対応性を評価するための標準化された枠組みはいまだに存在しない。 そこで本稿では,ヘテロジニアスデータソースからKGを構築する際のLLMのマッピング能力を評価するためのベンチマークであるBLINKGを提案する。 ベンチマークには、現実世界のユースケースに基づいて、複雑さが増す一連のシナリオが含まれている。 我々は、BLINKを用いて、いくつかの最先端LCMの実験的評価を行い、すでに有望なソリューションを提供していることを観察する。 しかし、そのパフォーマンスは複雑なシナリオで制限されている。 このベンチマークにより、我々は既にKG構築のためのLLMの現在の能力を評価することができる。 さらに, LLMによるKG構築を実現するための一連の要件を定義し, この分野に新たな研究線を開設する。

関連論文リスト

• A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering [41.99844472131922]
  大きな言語モデルは言語理解において優れているが、知識集約的なドメインでは限られている。 この研究は、LLMがCypherグラフクエリを生成して説明するインタラクティブなフレームワークを導入している。
  論文  参考訳（メタデータ） (2026-02-05T10:10:19Z)
• Enhancing Manufacturing Knowledge Access with LLMs and Context-aware Prompting [9.520082987178851]
  大きな言語モデル(LLM)は、自然言語クエリを自動的にSPARQLフォーマットに変換することができる。 我々は、知識グラフ(KG)からの情報検索を容易にするため、LCMを仲介者として利用する戦略を評価する。 この結果から,KGスキーマの適切なコンテキストのみを提供すると,LLMは正しいクエリと完全なクエリを生成する際の性能を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2025-07-30T12:39:01Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
  大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。 知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。 我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-04-04T03:03:47Z)
• Leveraging Large Language Models for Semantic Query Processing in a Scholarly Knowledge Graph [1.7418328181959968]
  本研究は,革新的なセマンティッククエリ処理システムを開発することを目的としている。 オーストラリア国立大学のコンピュータサイエンス(CS)研究者による研究成果に関する総合的な情報を得ることができる。
  論文  参考訳（メタデータ） (2024-05-24T09:19:45Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• From human experts to machines: An LLM supported approach to ontology and knowledge graph construction [0.0]
  大規模言語モデル(LLM)は、人間のような自然言語を理解し、生成する能力で最近人気を集めている。 本研究は,オープンソースLLMによって促進されるKGの半自動構築について考察する。
  論文  参考訳（メタデータ） (2024-03-13T08:50:15Z)
• KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph [134.8631016845467]
  我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。 KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。 有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
  論文  参考訳（メタデータ） (2024-02-17T02:07:49Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。