論文の概要: KGLens: Towards Efficient and Effective Knowledge Probing of Large Language Models with Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2312.11539v3
• Date: Thu, 1 Aug 2024 03:19:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-02 14:45:13.264784
• Title: KGLens: Towards Efficient and Effective Knowledge Probing of Large Language Models with Knowledge Graphs
• Title（参考訳）: KGLens: 知識グラフを用いた大規模言語モデルの効率的かつ効果的な知識探索を目指して
• Authors: Shangshang Zheng, He Bai, Yizhe Zhang, Yi Su, Xiaochuan Niu, Navdeep Jaitly,
• Abstract要約: 大きな言語モデル(LLMs)は事実を幻覚させるが、キュレートされた知識グラフ(KGs)は一般的に事実に信頼性がある。 KGsとLLMsのアライメントを測定することで、その事実を効果的に調査し、LLMsの知識盲点を特定することができる。 我々は、KGsとLLMsのアライメントを効果的かつ効率的に測定することを目的とした、トンプソンにインスパイアされたフレームワークであるKGLensを紹介する。
• 参考スコア（独自算出の注目度）: 22.53643028991214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) might hallucinate facts, while curated Knowledge Graph (KGs) are typically factually reliable especially with domain-specific knowledge. Measuring the alignment between KGs and LLMs can effectively probe the factualness and identify the knowledge blind spots of LLMs. However, verifying the LLMs over extensive KGs can be expensive. In this paper, we present KGLens, a Thompson-sampling-inspired framework aimed at effectively and efficiently measuring the alignment between KGs and LLMs. KGLens features a graph-guided question generator for converting KGs into natural language, along with a carefully designed importance sampling strategy based on parameterized KG structure to expedite KG traversal. Our simulation experiment compares the brute force method with KGLens under six different sampling methods, demonstrating that our approach achieves superior probing efficiency. Leveraging KGLens, we conducted in-depth analyses of the factual accuracy of ten LLMs across three large domain-specific KGs from Wikidata, composing over 19K edges, 700 relations, and 21K entities. Human evaluation results indicate that KGLens can assess LLMs with a level of accuracy nearly equivalent to that of human annotators, achieving 95.7% of the accuracy rate.
• Abstract（参考訳）: 大きな言語モデル(LLM)は事実を幻覚させるが、キュレートされた知識グラフ(KG)は、特にドメイン固有の知識に対して、事実的に信頼性がある。 KGsとLLMsのアライメントを測定することで、その事実を効果的に調査し、LLMsの知識盲点を特定することができる。 しかし、広範囲なKG上でのLSMの検証は高価である。 本稿では,KGsとLLMsのアライメントを効果的かつ効率的に測定することを目的としたトンプソンにヒントを得たフレームワークであるKGLensを提案する。 KGLensは、KGを自然言語に変換するためのグラフ誘導質問生成器と、パラメータ化されたKG構造に基づいて慎重に設計された重要サンプリング戦略を備える。 シミュレーション実験では,6つの異なるサンプリング法を用いて,KGLensとブルート力法を比較し,提案手法がより優れた探索効率を達成できることを実証した。 KGLensを活用することで,Wikidataの3つの大きなドメイン固有KGに対して,10個のLLMの事実的精度を詳細に解析し,19Kエッジ,700のリレーション,21Kエンティティを合成した。 人間の評価結果は、KGLensが人間のアノテータとほぼ同等の精度でLSMを評価し、精度の95.7%に達することを示唆している。

関連論文リスト

• Can LLMs be Good Graph Judger for Knowledge Graph Construction? [33.958327252291]
  本稿では,上記の課題に対処するための知識グラフ構築フレームワークであるGraphJudgerを提案する。 提案手法には,エンティティ中心の反復的テキスト記述,知識認識型指導チューニング,グラフ判断の3つの革新的なモジュールが導入されている。 2つの一般的なテキストグラフペアデータセットと1つのドメイン固有のテキストグラフペアデータセットによる実験は、ベースライン法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-26T12:46:57Z)
• Simple is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
  大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。 本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。 提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
  論文  参考訳（メタデータ） (2024-10-28T04:39:32Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• MKGL: Mastery of a Three-Word Language [48.04522048179973]
  専門的なKG言語(KGL)を導入し、ある文は、エンティティ名詞、関係動詞、そして他のエンティティ名詞で終わる。 KGLのLLMに対する不慣れな語彙にもかかわらず、我々はその学習を調整された辞書とイラストレーション文を通して促進する。 以上の結果から,従来のKG埋め込み法と比較して,LLMはKGLの流速を著しく低減できることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T01:39:26Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [43.55117421485917]
  本稿では,知識グラフタスクに大規模言語モデル(LLM)を活用する新しいフレームワークである知識グラフ大言語モデル(KG-LLM)を紹介する。 まず、構造化知識グラフデータを自然言語に変換し、次にこれらの自然言語プロンプトを微調整 LLM に変換する。 KG-LLMフレームワークの有効性を示すため,Flan-T5,LLaMa2,Gemmaの3つのLLMを微調整した。
  論文  参考訳（メタデータ） (2024-03-12T04:47:29Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。 現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。 非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph [134.8631016845467]
  我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。 KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。 有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
  論文  参考訳（メタデータ） (2024-02-17T02:07:49Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。