論文の概要: Evaluating Class Membership Relations in Knowledge Graphs using Large Language Models

• arxiv url: http://arxiv.org/abs/2404.17000v1
• Date: Thu, 25 Apr 2024 19:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 14:43:43.626479
• Title: Evaluating Class Membership Relations in Knowledge Graphs using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた知識グラフにおけるクラスメンバーシップ関係の評価
• Authors: Bradley P. Allen, Paul T. Groth,
• Abstract要約: 知識グラフのバックボーンは、与えられたクラスにエンティティを割り当てるクラスメンバーシップ関係である。 本稿では,与えられたエンティティとクラスの記述を処理することによって,これらの関係の質を評価する新しい手法を提案する。 本手法はWikidataとCaLiGraphの2つの公開知識グラフと7つの大言語モデルを用いて評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A backbone of knowledge graphs are their class membership relations, which assign entities to a given class. As part of the knowledge engineering process, we propose a new method for evaluating the quality of these relations by processing descriptions of a given entity and class using a zero-shot chain-of-thought classifier that uses a natural language intensional definition of a class. We evaluate the method using two publicly available knowledge graphs, Wikidata and CaLiGraph, and 7 large language models. Using the gpt-4-0125-preview large language model, the method's classification performance achieves a macro-averaged F1-score of 0.830 on data from Wikidata and 0.893 on data from CaLiGraph. Moreover, a manual analysis of the classification errors shows that 40.9% of errors were due to the knowledge graphs, with 16.0% due to missing relations and 24.9% due to incorrectly asserted relations. These results show how large language models can assist knowledge engineers in the process of knowledge graph refinement. The code and data are available on Github.
• Abstract（参考訳）: 知識グラフのバックボーンは、与えられたクラスにエンティティを割り当てるクラスメンバーシップ関係である。 知識工学のプロセスの一環として,クラスを自然言語で表すゼロショット・チェーン・オブ・ソート・クラシファイアを用いて,与えられたエンティティとクラスの記述を処理し,これらの関係の質を評価する新しい手法を提案する。 本手法はWikidataとCaLiGraphの2つの公開知識グラフと7つの大言語モデルを用いて評価する。 gpt-4-0125-preview大言語モデルを用いて、この手法の分類性能は、Wikidataのデータでは0.830、CaLiGraphのデータでは0.893のマクロ平均F1スコアを達成する。 さらに、分類エラーのマニュアル分析では、40.9%のエラーは知識グラフによるもので、16.0%は関係の欠如によるものであり、24.9%は誤って主張された関係によるものである。 これらの結果は,知識グラフの洗練過程において,大規模言語モデルが知識技術者にどのように役立つかを示す。 コードとデータはGithubで公開されている。

関連論文リスト

• Konstruktor: A Strong Baseline for Simple Knowledge Graph Question Answering [60.6042489577575]
  Konstruktor - 問題を3つのステップに分割する,効率的で堅牢なアプローチ。 我々のアプローチは言語モデルと知識グラフを統合し、前者の力と後者の解釈可能性を活用する。 関係検出において、ワークフローの最も困難なステップとして、関係分類・生成とランク付けの組み合わせが、他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T09:19:11Z)
• An Evaluation Framework for Mapping News Headlines to Event Classes in a Knowledge Graph [3.9742873618618275]
  本稿では,Wikidata のイベントクラスにマップされたニュース見出しのベンチマークデータセットを作成する手法を提案する。 このデータセットを用いて、このタスクの教師なしメソッドの2つのクラスを調査する。 今後の課題に対する評価,教訓,方向性について紹介する。
  論文  参考訳（メタデータ） (2023-12-04T20:42:26Z)
• Fast Knowledge Graph Completion using Graphics Processing Units [0.1611401281366893]
  現在の知識グラフは、関係性の観点からより良い知識を得るために補完する必要がある。 知識グラフ埋め込みモデルを用いて新たな関係性を加えるためには、$Ntimes N times R$ vector operation を評価する必要がある。 我々は、知識グラフ埋め込みベクトルを用いて新しい関係を得るために、GPU上で効率的な知識グラフ補完フレームワークを提供する。
  論文  参考訳（メタデータ） (2023-07-22T12:00:54Z)
• Instilling Type Knowledge in Language Models via Multi-Task QA [13.244420493711981]
  タイプ中心の質問に対して,テキストからテキストへの事前学習を施した言語モデルに,きめ細かな型知識を注入する手法を提案する。 ウィキデータナレッジグラフにリンクされた100万のウィキペディア記事のエンティティとエントリを41Kタイプで作成する。 WikiWikiでトレーニングされたモデルは、ゼロショットダイアログ状態追跡ベンチマークで最先端のパフォーマンスを実現し、ウィキペディアの記事のエンティティタイプを正確に推測し、人間の裁判官が有用なと考えられる新しいタイプを発見できる。
  論文  参考訳（メタデータ） (2022-04-28T22:06:32Z)
• KGE-CL: Contrastive Learning of Knowledge Graph Embeddings [64.67579344758214]
  本稿では,知識グラフ埋め込みのための簡易かつ効率的な学習フレームワークを提案する。 これは、関連するエンティティと異なる三重項におけるエンティティ-リレーションのカップルのセマンティック距離を短縮することができる。 WN18RRデータセットで51.2% MRR、46.8% Hits@1、59.1% MRR、51.8% Hits@1、YAGO3-10データセットで達成できる。
  論文  参考訳（メタデータ） (2021-12-09T12:45:33Z)
• Fusing Context Into Knowledge Graph for Commonsense Reasoning [21.33294077354958]
  外部エンティティ記述を利用して,グラフエンティティのコンテキスト情報を提供する。 CommonsenseQAタスクでは、まず質問と選択から概念を抽出し、これらの概念の間に関連するトリプルを見つけます。 CommonsenseQAデータセットでは、80.7%(シングルモデル)と83.3%(アンサンブルモデル)の精度で最新の結果を達成しています。
  論文  参考訳（メタデータ） (2020-12-09T00:57:49Z)
• Type-augmented Relation Prediction in Knowledge Graphs [65.88395564516115]
  本稿では,タイプ情報とインスタンスレベルの情報の両方を関係予測に適用するタイプ拡張関係予測(TaRP)手法を提案する。 提案手法は,4つのベンチマークデータセット上での最先端手法よりも高い性能を実現する。
  論文  参考訳（メタデータ） (2020-09-16T21:14:18Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Relational Message Passing for Knowledge Graph Completion [78.47976646383222]
  本稿では,知識グラフ補完のためのリレーショナルメッセージパッシング手法を提案する。 エッジ間でリレーショナルメッセージを反復的に送信し、近隣情報を集約する。 その結果,本手法は最先端の知識完成手法よりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2020-02-17T03:33:41Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。