論文の概要: KGLens: A Parameterized Knowledge Graph Solution to Assess What an LLM
Does and Doesn't Know
- arxiv url: http://arxiv.org/abs/2312.11539v1
- Date: Fri, 15 Dec 2023 23:34:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 18:46:40.453228
- Title: KGLens: A Parameterized Knowledge Graph Solution to Assess What an LLM
Does and Doesn't Know
- Title(参考訳): KGLens: LLMがしていることと知らないことを評価するためのパラメータ化された知識グラフソリューション
- Authors: Shangshang Zheng, He Bai, Yizhe Zhang, Yi Su, Xiaochuan Niu, Navdeep
Jaitly
- Abstract要約: 我々は,既存の知識グラフを用いた大規模言語モデル(LLM)の評価手法であるKGLensを紹介する。
KGLensは、より集約されたレベルでその性能を特徴付けるために、構造を意識した方法で、KGから自然言語質問を生成する。
実験では,3つのドメイン固有KGを知識評価のために構築し,19,000のエッジ,700のリレーション,21,000のエンティティからなる。
- 参考スコア(独自算出の注目度): 23.879958091270463
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current approaches to evaluating large language models (LLMs) with
pre-existing Knowledge Graphs (KG) mostly ignore the structure of the KG and
make arbitrary choices of which part of the graph to evaluate. In this paper,
we introduce KGLens, a method to evaluate LLMs by generating natural language
questions from a KG in a structure aware manner so that we can characterize its
performance on a more aggregated level. KGLens uses a parameterized KG, where
each edge is augmented with a beta distribution that guides how to sample edges
from the KG for QA testing. As the evaluation proceeds, different edges of the
parameterized KG are sampled and assessed appropriately, converging to a more
global picture of the performance of the LLMs on the KG as a whole. In our
experiments, we construct three domain-specific KGs for knowledge assessment,
comprising over 19,000 edges, 700 relations, and 21,000 entities. The results
demonstrate that KGLens can not only assess overall performance but also
provide topic, temporal, and relation analyses of LLMs. This showcases the
adaptability and customizability of KGLens, emphasizing its ability to focus
the evaluation based on specific criteria.
- Abstract(参考訳): 既存の知識グラフ(KG)を用いた大規模言語モデル(LLM)の評価への現在のアプローチは、KGの構造を無視し、グラフのどの部分を評価するかを任意に選択する。
本稿では,自然言語質問を1 kg から生成し,より集約されたレベルでその性能を特徴付ける手法である kglens を提案する。
KGLensはパラメータ化されたKGを使用して、各エッジをベータディストリビューションで拡張し、KGからエッジをサンプリングしてQAテストする方法をガイドする。
評価が進むにつれて、パラメータ化されたKGの異なるエッジをサンプリングして適切に評価し、KG全体のLCMの性能のより大域的な図に収束させる。
実験では,3つのドメイン固有KGを知識評価のために構築し,19,000のエッジ,700のリレーション,21,000のエンティティからなる。
その結果、KGLensは全体の性能を評価するだけでなく、LLMのトピック、時間、および関連性分析を提供することができた。
これはKGLensの適応性とカスタマイズ性を示し、特定の基準に基づいて評価に集中する能力を強調している。
関連論文リスト
- Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [90.30473970040362]
我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成できる、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。
具体的には、LLMをKGを探索するエージェントとして扱うだけでなく、KGとして扱い、探索したサブグラフに基づいて新たな事実を生成する選択生成探索フレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-23T04:47:22Z) - Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [41.471553288898114]
本稿では,知識グラフにおけるマルチホップリンク予測を強化するために,知識グラフ大言語モデルフレームワーク(KG-LLM)を提案する。
知識グラフをチェーン・オブ・シークレットのプロンプトに変換することで、我々のフレームワークは、エンティティの潜在表現とその相互関係を識別し、学習するように設計されている。
論文 参考訳(メタデータ) (2024-03-12T04:47:29Z) - Counter-intuitive: Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
本稿では、知識グラフ(KG)を用いて、大規模言語モデル(LLM)推論機能の実現と幻覚の低減を図る。
我々は、複雑な質問応答(CQA)を用いて、LLMのKG知識の理解能力を評価する。
初期の期待とは対照的に,LLMは乱雑でノイズが多く,線形化されたKGの知識を効果的に扱えることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-18T10:44:03Z) - KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning
over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。
KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。
有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文 参考訳(メタデータ) (2024-02-17T02:07:49Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳(メタデータ) (2023-10-02T10:14:43Z) - Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for
Knowledge Graph Question Answering [16.434098552925427]
本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。
そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-20T10:42:08Z) - KoLA: Carefully Benchmarking World Knowledge of Large Language Models [56.672981891304005]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。
能力モデリングでは、人間の認知を模倣して知識関連能力の4段階の分類を作成し、19ドルのタスクをカバーしている。
データには、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集される新興コーパスの両方を使用し、目に見えないデータを扱う能力と知識の進化を評価することを目的としています。
論文 参考訳(メタデータ) (2023-06-15T17:20:46Z) - Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。
知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
論文 参考訳(メタデータ) (2023-06-14T07:15:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。