論文の概要: Enhancing Knowledge Graph Construction: Evaluating with Emphasis on Hallucination, Omission, and Graph Similarity Metrics

• arxiv url: http://arxiv.org/abs/2502.05239v1
• Date: Fri, 07 Feb 2025 11:19:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:35:39.850613
• Title: Enhancing Knowledge Graph Construction: Evaluating with Emphasis on Hallucination, Omission, and Graph Similarity Metrics
• Title（参考訳）: 知識グラフ構築の強化:幻覚, 排他, グラフ類似度に着目して評価する
• Authors: Hussam Ghanem, Christophe Cruz,
• Abstract要約: 本稿では, 精度, リコール, F1スコア, トリプルマッチング, グラフマッチングなどの指標を用いて, 様々なモデルの評価を行った。 本稿では,BERTScoreをグラフ類似性に取り入れた評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License:
• Abstract: Recent advancements in large language models have demonstrated significant potential in the automated construction of knowledge graphs from unstructured text. This paper builds upon our previous work [16], which evaluated various models using metrics like precision, recall, F1 score, triple matching, and graph matching, and introduces a refined approach to address the critical issues of hallucination and omission. We propose an enhanced evaluation framework incorporating BERTScore for graph similarity, setting a practical threshold of 95% for graph matching. Our experiments focus on the Mistral model, comparing its original and fine-tuned versions in zero-shot and few-shot settings. We further extend our experiments using examples from the KELM-sub training dataset, illustrating that the fine-tuned model significantly improves knowledge graph construction accuracy while reducing the exact hallucination and omission. However, our findings also reveal that the fine-tuned models perform worse in generalization tasks on the KELM-sub dataset. This study underscores the importance of comprehensive evaluation metrics in advancing the state-of-the-art in knowledge graph construction from textual data.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、構造化されていないテキストから知識グラフを自動構築する大きな可能性を示している。 本論文は, 高精度, リコール, F1スコア, トリプルマッチング, グラフマッチングなどの指標を用いて, 様々なモデルの評価を行い, 幻覚と排便の重要な問題に対処する改良されたアプローチを提案する。 本稿では,BERTScoreをグラフ類似性に取り入れた評価フレームワークを提案する。 我々の実験はMistralモデルに焦点をあて、オリジナル版と微調整版をゼロショットと少数ショットで比較した。 我々は、KELM-subトレーニングデータセットの例を用いて実験をさらに拡張し、微調整モデルにより、正確な幻覚と省略を低減しつつ、知識グラフ構築の精度が大幅に向上することを示した。 しかし, この結果から, KELM-subデータセットでは, 微調整モデルの方が, 一般化タスクの高速化に寄与することが判明した。 本研究は,テキストデータからの知識グラフ構築の最先端化における包括的評価指標の重要性を明らかにする。

関連論文リスト

• Beyond Under-Alignment: Atomic Preference Enhanced Factuality Tuning for Large Language Models [19.015202590038996]
  様々な選好学習アルゴリズムによって調整された異なるモデルの事実性を評価する。 textbfAtomic textbfPreference textbfEnhanced textbfFactuality textbfTuning を提案する。
  論文  参考訳（メタデータ） (2024-06-18T09:07:30Z)
• Does Graph Distillation See Like Vision Dataset Counterpart? [26.530765707382457]
  本稿では,従来の構造情報を合成データにブロードキャストするSGDD(Structure-Broadcasting Graph dataset Distillation)方式を提案する。 9つのデータセットにまたがって提案したSGDDを検証する。
  論文  参考訳（メタデータ） (2023-10-13T15:36:48Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Latent Augmentation For Better Graph Self-Supervised Learning [20.082614919182692]
  我々は、潜在的な拡張と強力なデコーダを備えた予測モデルは、対照的なモデルよりも同等またはそれ以上の表現力を達成することができると論じている。 Wiener Graph Deconvolutional Networkと呼ばれる新しいグラフデコーダは、拡張潜在表現から情報再構成を行うように設計されている。
  論文  参考訳（メタデータ） (2022-06-26T17:41:59Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations [114.94628499698096]
  文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。 MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。 事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
  論文  参考訳（メタデータ） (2022-04-13T16:45:33Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。