論文の概要: Text2KGBench: A Benchmark for Ontology-Driven Knowledge Graph Generation
from Text
- arxiv url: http://arxiv.org/abs/2308.02357v1
- Date: Fri, 4 Aug 2023 14:47:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-07 12:31:18.388196
- Title: Text2KGBench: A Benchmark for Ontology-Driven Knowledge Graph Generation
from Text
- Title（参考訳）: Text2KGBench: テキストからオントロジー駆動の知識グラフ生成のためのベンチマーク
- Authors: Nandana Mihindukulasooriya, Sanju Tiwari, Carlos F. Enguix, Kusum Lata
- Abstract要約: 大規模言語モデル (LLM) と創発的機能を持つ基礎モデルは、多くのNLPタスクの性能を向上させることが示されている。
オントロジーでガイドされた自然言語テキストから知識グラフ(KG)を生成する言語モデルの能力を評価するベンチマークであるText2KGBenchを提案する。
- 参考スコア（独自算出の注目度）: 2.396908230113859
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent advances in large language models (LLM) and foundation models with
emergent capabilities have been shown to improve the performance of many NLP
tasks. LLMs and Knowledge Graphs (KG) can complement each other such that LLMs
can be used for KG construction or completion while existing KGs can be used
for different tasks such as making LLM outputs explainable or fact-checking in
Neuro-Symbolic manner. In this paper, we present Text2KGBench, a benchmark to
evaluate the capabilities of language models to generate KGs from natural
language text guided by an ontology. Given an input ontology and a set of
sentences, the task is to extract facts from the text while complying with the
given ontology (concepts, relations, domain/range constraints) and being
faithful to the input sentences. We provide two datasets (i) Wikidata-TekGen
with 10 ontologies and 13,474 sentences and (ii) DBpedia-WebNLG with 19
ontologies and 4,860 sentences. We define seven evaluation metrics to measure
fact extraction performance, ontology conformance, and hallucinations by LLMs.
Furthermore, we provide results for two baseline models, Vicuna-13B and
Alpaca-LoRA-13B using automatic prompt generation from test cases. The baseline
results show that there is room for improvement using both Semantic Web and
Natural Language Processing techniques.
- Abstract（参考訳）: 近年の大規模言語モデル (LLM) と創発的機能を持つ基礎モデルの進歩は,多くのNLPタスクの性能向上に寄与している。
LLMと知識グラフ(KG)は互いに補完し合い、LLMはKGの構築や完成に使用でき、既存のKGはLLM出力を説明可能なものにしたり、ニューロ・シンボリックな方法で事実チェックするといった様々なタスクに使用できる。
本稿では、オントロジーでガイドされた自然言語テキストからKGを生成する言語モデルの性能を評価するベンチマークであるText2KGBenchを提案する。
入力オントロジーと文の集合が与えられたとき、そのタスクは、与えられたオントロジー(概念、関係、ドメイン/範囲の制約)に準拠し、入力文に忠実であるながら、テキストから事実を抽出することである。
2つのデータセットを
(i)Wikidata-TekGen 10オントロジー、13,474文
(ii)DBpedia-WebNLG 19オントロジー、4,860文。
LLMによる事実抽出性能,オントロジー適合性,幻覚を測定するための評価指標を7つ定義する。
さらに,Vicuna-13B と Alpaca-LoRA-13B の2つのベースラインモデルに対して,テストケースからの自動プロンプト生成を用いた結果を提供する。
その結果,セマンティックWebと自然言語処理の両手法による改善の余地があることが示唆された。
関連論文リスト
- Can LLMs be Good Graph Judger for Knowledge Graph Construction? [33.958327252291]
本稿では,上記の課題に対処するための知識グラフ構築フレームワークであるGraphJudgerを提案する。
提案手法には,エンティティ中心の反復的テキスト記述,知識認識型指導チューニング,グラフ判断の3つの革新的なモジュールが導入されている。
2つの一般的なテキストグラフペアデータセットと1つのドメイン固有のテキストグラフペアデータセットによる実験は、ベースライン法と比較して優れた性能を示した。
論文 参考訳（メタデータ） (2024-11-26T12:46:57Z) - Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。
我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
論文 参考訳（メタデータ） (2024-11-05T07:12:36Z) - Ontology Population using LLMs [0.9894420655516563]
知識グラフ(KG)は、データ統合、表現、可視化にますます活用されている。
LLMはそのようなタスクに有望な機能を提供し、自然言語の理解とコンテンツ生成に優れています。
本研究では、Enslaved.org Hub Ontologyに着目し、KG集団に対するLLMの有効性について検討した。
論文 参考訳（メタデータ） (2024-11-03T15:39:20Z) - Prompt-based vs. Fine-tuned LLMs Toward Causal Graph Verification [0.0]
本研究の目的は,テキストソースを用いた因果グラフの自動検証に自然言語処理(NLP)技術を適用することである。
我々は,(1)因果関係分類タスク用に微調整された事前学習言語モデルと(2)プロンプトベースLPMの2種類のNLPモデルの性能を比較した。
論文 参考訳（メタデータ） (2024-05-29T09:06:18Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z) - LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。
私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。
LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
論文 参考訳（メタデータ） (2023-05-17T15:53:31Z) - MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text
Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。
WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文 参考訳（メタデータ） (2022-12-16T17:36:23Z) - Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。
我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
論文 参考訳（メタデータ） (2022-10-17T18:02:52Z) - Explaining Patterns in Data with Language Models via Interpretable
Autoprompting [143.4162028260874]
本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。
iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。
fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
論文 参考訳（メタデータ） (2022-10-04T18:32:14Z) - BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and
Semantic Parsing [55.058258437125524]
本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。
APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。
実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
論文 参考訳（メタデータ） (2022-06-21T18:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。