論文の概要: KGLens: A Parameterized Knowledge Graph Solution to Assess What an LLM Does and Doesn't Know

• arxiv url: http://arxiv.org/abs/2312.11539v1
• Date: Fri, 15 Dec 2023 23:34:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 18:46:40.453228
• Title: KGLens: A Parameterized Knowledge Graph Solution to Assess What an LLM Does and Doesn't Know
• Title（参考訳）: KGLens: LLMがしていることと知らないことを評価するためのパラメータ化された知識グラフソリューション
• Authors: Shangshang Zheng, He Bai, Yizhe Zhang, Yi Su, Xiaochuan Niu, Navdeep Jaitly
• Abstract要約: 我々は,既存の知識グラフを用いた大規模言語モデル(LLM)の評価手法であるKGLensを紹介する。 KGLensは、より集約されたレベルでその性能を特徴付けるために、構造を意識した方法で、KGから自然言語質問を生成する。 実験では,3つのドメイン固有KGを知識評価のために構築し,19,000のエッジ,700のリレーション,21,000のエンティティからなる。
• 参考スコア（独自算出の注目度）: 23.879958091270463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current approaches to evaluating large language models (LLMs) with pre-existing Knowledge Graphs (KG) mostly ignore the structure of the KG and make arbitrary choices of which part of the graph to evaluate. In this paper, we introduce KGLens, a method to evaluate LLMs by generating natural language questions from a KG in a structure aware manner so that we can characterize its performance on a more aggregated level. KGLens uses a parameterized KG, where each edge is augmented with a beta distribution that guides how to sample edges from the KG for QA testing. As the evaluation proceeds, different edges of the parameterized KG are sampled and assessed appropriately, converging to a more global picture of the performance of the LLMs on the KG as a whole. In our experiments, we construct three domain-specific KGs for knowledge assessment, comprising over 19,000 edges, 700 relations, and 21,000 entities. The results demonstrate that KGLens can not only assess overall performance but also provide topic, temporal, and relation analyses of LLMs. This showcases the adaptability and customizability of KGLens, emphasizing its ability to focus the evaluation based on specific criteria.
• Abstract（参考訳）: 既存の知識グラフ(KG)を用いた大規模言語モデル(LLM)の評価への現在のアプローチは、KGの構造を無視し、グラフのどの部分を評価するかを任意に選択する。 本稿では,自然言語質問を1 kg から生成し,より集約されたレベルでその性能を特徴付ける手法である kglens を提案する。 KGLensはパラメータ化されたKGを使用して、各エッジをベータディストリビューションで拡張し、KGからエッジをサンプリングしてQAテストする方法をガイドする。 評価が進むにつれて、パラメータ化されたKGの異なるエッジをサンプリングして適切に評価し、KG全体のLCMの性能のより大域的な図に収束させる。 実験では,3つのドメイン固有KGを知識評価のために構築し,19,000のエッジ,700のリレーション,21,000のエンティティからなる。 その結果、KGLensは全体の性能を評価するだけでなく、LLMのトピック、時間、および関連性分析を提供することができた。 これはKGLensの適応性とカスタマイズ性を示し、特定の基準に基づいて評価に集中する能力を強調している。

関連論文リスト

• GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion [52.026016846945424]
  我々は、KGの構造情報をエンコードし、それを大規模言語モデルにマージするGLTWと呼ばれる新しい手法を提案する。 具体的には、局所構造情報とグローバル構造情報の両方を効果的に符号化する改良されたグラフ変換器(iGT)を導入する。 また,KG内のすべてのエンティティを分類対象として用いたサブグラフに基づく多分類学習目標を開発し,学習効率を向上する。
  論文  参考訳（メタデータ） (2025-02-17T06:02:59Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Can Knowledge Graphs Make Large Language Models More Trustworthy? An Empirical Study Over Open-ended Question Answering [30.12049172634714]
  本研究では,Large Language Models(LLM)をオープンエンド環境でより信頼性の高いものにできるかどうかを考察する。 OKGQAは、Knowledge Graphsで強化されたLLMを、オープンエンドの現実世界の質問応答シナリオで評価するために特別に設計されたベンチマークである。 OKGQA-Pは、KGのセマンティクスと構造が意図的に乱れ、汚染された場合のモデル性能を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T16:29:21Z)
• MKGL: Mastery of a Three-Word Language [48.04522048179973]
  専門的なKG言語(KGL)を導入し、ある文は、エンティティ名詞、関係動詞、そして他のエンティティ名詞で終わる。 KGLのLLMに対する不慣れな語彙にもかかわらず、我々はその学習を調整された辞書とイラストレーション文を通して促進する。 以上の結果から,従来のKG埋め込み法と比較して,LLMはKGLの流速を著しく低減できることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T01:39:26Z)
• GS-KGC: A Generative Subgraph-based Framework for Knowledge Graph Completion with Large Language Models [7.995716933782121]
  我々は textbfGenerative textbfSubgraph-based KGC (GS-KGC) と呼ばれる新しい補完フレームワークを提案する。 このフレームワークは、主に負と隣人を生成するように設計された部分グラフ分割アルゴリズムを含んでいる。 4つの共通のKGCデータセットで実施された実験は、提案されたGS-KGCの利点を強調している。
  論文  参考訳（メタデータ） (2024-08-20T13:13:41Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [43.55117421485917]
  本稿では,知識グラフタスクに大規模言語モデル(LLM)を活用する新しいフレームワークである知識グラフ大言語モデル(KG-LLM)を紹介する。 まず、構造化知識グラフデータを自然言語に変換し、次にこれらの自然言語プロンプトを微調整 LLM に変換する。 KG-LLMフレームワークの有効性を示すため,Flan-T5,LLaMa2,Gemmaの3つのLLMを微調整した。
  論文  参考訳（メタデータ） (2024-03-12T04:47:29Z)
• KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph [134.8631016845467]
  我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。 KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。 有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
  論文  参考訳（メタデータ） (2024-02-17T02:07:49Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。