論文の概要: KGLens: A Parameterized Knowledge Graph Solution to Assess What an LLM
Does and Doesn't Know
- arxiv url: http://arxiv.org/abs/2312.11539v2
- Date: Fri, 16 Feb 2024 17:41:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 19:46:30.482851
- Title: KGLens: A Parameterized Knowledge Graph Solution to Assess What an LLM
Does and Doesn't Know
- Title(参考訳): KGLens: LLMがしていることと知らないことを評価するためのパラメータ化された知識グラフソリューション
- Authors: Shangshang Zheng, He Bai, Yizhe Zhang, Yi Su, Xiaochuan Niu, Navdeep
Jaitly
- Abstract要約: KGLensは、知識グラフと大規模言語モデルのアライメントを測定することを目的とした、新しいフレームワークである。
KGLensは、KGを自然言語に変換するためのグラフ誘導質問生成器を備えている。
- 参考スコア(独自算出の注目度): 23.879958091270463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Measuring the alignment between a Knowledge Graph (KG) and Large Language
Models (LLMs) is an effective method to assess the factualness and identify the
knowledge blind spots of LLMs. However, this approach encounters two primary
challenges including the translation of KGs into natural language and the
efficient evaluation of these extensive and complex structures. In this paper,
we present KGLens--a novel framework aimed at measuring the alignment between
KGs and LLMs, and pinpointing the LLMs' knowledge deficiencies relative to KGs.
KGLens features a graph-guided question generator for converting KGs into
natural language, along with a carefully designed sampling strategy based on
parameterized KG structure to expedite KG traversal. We conducted experiments
using three domain-specific KGs from Wikidata, which comprise over 19,000
edges, 700 relations, and 21,000 entities. Our analysis across eight LLMs
reveals that KGLens not only evaluates the factual accuracy of LLMs more
rapidly but also delivers in-depth analyses on topics, temporal dynamics, and
relationships. Furthermore, human evaluation results indicate that KGLens can
assess LLMs with a level of accuracy nearly equivalent to that of human
annotators, achieving 95.7% of the accuracy rate.
- Abstract(参考訳): 知識グラフ(KG)とLarge Language Models(LLM)のアライメントを測定することは,現実性を評価し,LLMの知識盲点を特定する効果的な方法である。
しかし、このアプローチは、自然言語へのkgの翻訳と、これら広範囲で複雑な構造の効率的な評価という2つの主要な課題に遭遇する。
本稿では、KGLensについて、KGsとLLMsのアライメントを測定し、KGsに対するLLMsの知識不足を指摘するための新しいフレームワークを提案する。
kglensは、自然言語に変換するためのグラフガイド付き質問生成器と、パラメータ化されたkg構造に基づいた注意深く設計されたサンプリング戦略を備えている。
Wikidataの3つのドメイン固有KGを用いて,19,000のエッジ,700のリレーション,21,000のエンティティからなる実験を行った。
8 llm を対象に分析した結果,kglens は llm の事実的正確性をより迅速に評価するだけでなく,トピックや時間的ダイナミクス,関係性について詳細な分析を行うことができた。
さらに、人間の評価結果は、KGLensが人間のアノテーションとほぼ同等の精度でLSMを評価し、精度の95.7%に達することを示唆している。
関連論文リスト
- Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [90.30473970040362]
我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成できる、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。
具体的には、LLMをKGを探索するエージェントとして扱うだけでなく、KGとして扱い、探索したサブグラフに基づいて新たな事実を生成する選択生成探索フレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-23T04:47:22Z) - Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [41.471553288898114]
本稿では,知識グラフにおけるマルチホップリンク予測を強化するために,知識グラフ大言語モデルフレームワーク(KG-LLM)を提案する。
知識グラフをチェーン・オブ・シークレットのプロンプトに変換することで、我々のフレームワークは、エンティティの潜在表現とその相互関係を識別し、学習するように設計されている。
論文 参考訳(メタデータ) (2024-03-12T04:47:29Z) - Counter-intuitive: Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
本稿では、知識グラフ(KG)を用いて、大規模言語モデル(LLM)推論機能の実現と幻覚の低減を図る。
我々は、複雑な質問応答(CQA)を用いて、LLMのKG知識の理解能力を評価する。
初期の期待とは対照的に,LLMは乱雑でノイズが多く,線形化されたKGの知識を効果的に扱えることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-18T10:44:03Z) - KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning
over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。
KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。
有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文 参考訳(メタデータ) (2024-02-17T02:07:49Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳(メタデータ) (2023-10-02T10:14:43Z) - Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for
Knowledge Graph Question Answering [16.434098552925427]
本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。
そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-20T10:42:08Z) - KoLA: Carefully Benchmarking World Knowledge of Large Language Models [56.672981891304005]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。
能力モデリングでは、人間の認知を模倣して知識関連能力の4段階の分類を作成し、19ドルのタスクをカバーしている。
データには、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集される新興コーパスの両方を使用し、目に見えないデータを扱う能力と知識の進化を評価することを目的としています。
論文 参考訳(メタデータ) (2023-06-15T17:20:46Z) - Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。
知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
論文 参考訳(メタデータ) (2023-06-14T07:15:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。