論文の概要: KGCQual: An Interpretable Framework for Evaluating the Knowledge Graph Construction Quality from Text
- arxiv url: http://arxiv.org/abs/2607.10212v1
- Date: Sat, 11 Jul 2026 08:45:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.341268
- Title: KGCQual: An Interpretable Framework for Evaluating the Knowledge Graph Construction Quality from Text
- Title（参考訳）: KGCQual: テキストから知識グラフ構築品質を評価するための解釈可能なフレームワーク
- Abstract要約: 本稿では,本質的な知識グラフ品質評価のための新しい解釈可能な指標を提案する。
自動的に抽出されたグラフがいかに「理想」グラフに近似するかを測定する。
複数の最先端の3重抽出システムとデータセットで測定値を評価する。
- 参考スコア（独自算出の注目度）: 6.373904244962351
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Knowledge Graphs (KGs) are increasingly constructed through automated extraction pipelines; however, such systems often introduce spurious or incomplete triples, which degrade downstream performance. Existing evaluation practices rely heavily on task-specific metrics or small-scale manual verification, offering limited insight into the structural and semantic fidelity of extracted graphs. We propose a novel, interpretable metric for intrinsic KG quality assessment that measures how closely an automatically extracted graph approximates an "ideal" graph capturing the key noun phrases, predicate relations, and basic linguistic phenomena such as negation expressed in the source text. Our framework integrates two complementary components: (1) an entity-level assessment that evaluates completeness, resolution quality, and connectivity, and (2) a relation-level assessment that judges predicate preservation and multiplicity using lexical similarity, dependency-parse alignment, and light-weight negation handling to ensure semantic faithfulness. We evaluate our metric across multiple state-of-the-art triple extraction systems and datasets, including WebNLG, TinyButMighty, and BenchIE, demonstrating that it reliably identifies omissions, redundancy, and structural deviations that existing metrics overlook. Our work offers a scalable, model-agnostic, and interpretable framework for comparing automated KG construction methods and provides a foundation for standardised evaluation. We further validate the metric through an ablation study isolating noun and verb components, and a downstream evaluation showing that KGCQual scores correlate significantly with link prediction performance on the same extracted KGs. The code repository is available at https://github.com/kracr/kg-quality-metric.
- Abstract（参考訳）: 知識グラフ(KG)は、自動抽出パイプラインを通じて構築されることが多いが、これらのシステムは、しばしば、下流のパフォーマンスを低下させるスプリアスまたは不完全なトリプルを導入している。
既存の評価プラクティスはタスク固有のメトリクスや小規模な手作業による検証に大きく依存しており、抽出されたグラフの構造的および意味的忠実性に関する限られた洞察を提供する。
本稿では,キー名詞句,述語関係,および原文で表される否定などの基本的な言語現象を,自動抽出されたグラフがいかに「理想」グラフに近似するかを測定する,固有のKG品質評価のための新しい解釈可能な指標を提案する。
本フレームワークは,(1)完全性,分解性,接続性を評価するエンティティレベルの評価,(2)語彙的類似性,依存性のパースアライメント,および軽量否定処理を用いて意味的忠実性を確保するための関係レベルの評価,という2つの相補的要素を統合している。
我々は、WebNLG、TinyButMighty、BenchIEを含む最先端のトリプル抽出システムとデータセットのメトリクスを評価し、既存のメトリクスが見落としている欠落、冗長性、構造的偏差を確実に識別できることを実証した。
我々の研究は、自動KG構築法を比較するためのスケーラブルでモデルに依存しない、解釈可能なフレームワークを提供し、標準化された評価の基礎を提供する。
また,KGCQualのスコアが同一抽出KG上でのリンク予測性能と大きく相関していることを示す下流評価を行った。
コードリポジトリはhttps://github.com/kracr/kg-quality-metricで公開されている。
関連論文リスト
- Evaluation of Contextual Understanding in Large Language Models [0.8150815269284862]
大規模言語モデル(LLM)は多様なNLPタスクにまたがって優れた性能を示すが、実際の文脈理解を示す能力は未だ不明である。
パープレキシティ(perplexity)やバイリンガル評価(BiLingual Evaluation Understudy、BLEU)、表面レベルの精度といった従来の評価指標では、LLMが文脈情報をどのように抽出し、統合し、推論するかは明らかになっていない。
KGのセマンティック構造類似性を導入した知識グラフに基づく新しい評価フレームワーク(S3KG)を提案する。
論文 参考訳（メタデータ） (2026-09-08T16:41:50Z) - Q-GNN: Query-Conditioned Graph Neural Networks with Type Awareness for Knowledge Graph Completion [38.265175718191735]
Knowledge Graph Completionは、不足している三つ子を不完全な知識グラフから予測することを目的としている。
最近のグラフニューラルネットワーク(GNN)に基づく手法は,クエリ中心のローカルサブグラフ上でメッセージパッシングを行うことで,大きな成功を収めている。
論文 参考訳（メタデータ） (2026-06-04T03:07:22Z) - SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs [0.0]
SKG-Evalは、対話を進化するセマンティック知識グラフとしてモデル化する準決定論的かつ解釈可能なフレームワークである。
本研究では,SKG-Evalが人間の判断と高い相関を達成し,会話における長距離不整合の検出を大幅に改善することを示す。
論文 参考訳（メタデータ） (2026-05-15T21:39:48Z) - A Unified Benchmark for Evaluating Knowledge Graph Construction Methods and Graph Neural Networks [1.9307742024764771]
ノイズの多いテキスト由来のグラフ上でのグラフニューラルネットワーク(GNN)の性能を共同評価するための2目的ベンチマークを提案する。
ベンチマークは、単一のテキストコーパスからバイオメディカルドメインに構築される。
論文 参考訳（メタデータ） (2026-05-06T21:53:49Z) - Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching [61.824094419641575]
大言語モデル(LLM)は知識グラフ質問応答(KGQA)のような知識集約的なシナリオにおける幻覚と事実的誤りに苦しむ
これは、構造化知識グラフ(KG)と非構造化クエリのセマンティックギャップによるもので、その焦点や構造に固有の違いが原因である。
既存の手法は通常、バニラKGの資源集約的で非スケーリング可能な推論を用いるが、このギャップを見落としている。
我々は、LLMの事前知識を活用してKGを充実させる柔軟なフレームワークEnrich-on-Graph(EoG)を提案し、グラフとクエリ間のセマンティックギャップを埋める。
論文 参考訳（メタデータ） (2025-09-25T06:48:52Z) - Towards Explainable Job Title Matching: Leveraging Semantic Textual Relatedness and Knowledge Graphs [0.19116784879310025]
本研究では,ジョブタイトルマッチングの文脈における意味的テキスト関連性(STR)について検討する。
本稿では,密文埋め込みとドメイン固有の知識グラフを組み合わせた自己教師型ハイブリッドアーキテクチャを提案する。
KGを付加した細調整SBERTモデルが高STR領域で一貫した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2025-09-11T15:02:54Z) - Understanding the Effect of Knowledge Graph Extraction Error on Downstream Graph Analyses: A Case Study on Affiliation Graphs [4.818309069556584]
知識グラフ(KG)は、社会構造、コミュニティダイナミクス、制度的メンバーシップ、その他の複雑な関係を分析するのに有用である。
大規模言語モデル(LLM)の最近の進歩は、大規模テキストコーパスから自動KG抽出のスケーラビリティとアクセシビリティを改善している。
下流分析における抽出誤差の影響はよく理解されていないが、特に実世界の洞察のために正確なKGに依存している応用科学者にとってはよく理解されていない。
論文 参考訳（メタデータ） (2025-06-14T06:14:06Z) - Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-18T12:36:23Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - Towards Interpretable and Efficient Automatic Reference-Based
Summarization Evaluation [160.07938471250048]
解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。
我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
論文 参考訳（メタデータ） (2023-03-07T02:49:50Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z) - Towards Question-Answering as an Automatic Metric for Evaluating the
Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。
提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文 参考訳（メタデータ） (2020-10-01T15:33:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。