論文の概要: Is Large Language Model Good at Triple Set Prediction? An Empirical Study

• arxiv url: http://arxiv.org/abs/2412.18443v1
• Date: Tue, 24 Dec 2024 14:03:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:31.291743
• Title: Is Large Language Model Good at Triple Set Prediction? An Empirical Study
• Title（参考訳）: 大規模言語モデルは3つのセット予測に良いか? : 実証的研究
• Authors: Yuan Yuan, Yajing Xu, Wen Zhang,
• Abstract要約: このフレームワークは、LLMベースのルールマイニングとLLMベースのトリプルセット予測で構成されている。 実験結果から,LSMが欠落した三重項を予測するために大量の事実知識に従わなければならない場合,幻覚が顕著に発生し,性能が著しく低下することが示唆された。
• 参考スコア（独自算出の注目度）: 12.094218772036596
• License:
• Abstract: The core of the Knowledge Graph Completion (KGC) task is to predict and complete the missing relations or nodes in a KG. Common KGC tasks are mostly about inferring unknown elements with one or two elements being known in a triple. In comparison, the Triple Set Prediction (TSP) task is a more realistic knowledge graph completion task. It aims to predict all elements of unknown triples based on the information from known triples. In recent years, large language models (LLMs) have exhibited significant advancements in language comprehension, demonstrating considerable potential for KGC tasks. However, the potential of LLM on the TSP task has not yet to be investigated. Thus in this paper we proposed a new framework to explore the strengths and limitations of LLM in the TSP task. Specifically, the framework consists of LLM-based rule mining and LLM-based triple set prediction. The relation list of KG embedded within rich semantic information is first leveraged to prompt LLM in the generation of rules. This process is both efficient and independent of statistical information, making it easier to mine effective and realistic rules. For each subgraph, the specified rule is applied in conjunction with the relevant triples within that subgraph to guide the LLM in predicting the missing triples. Subsequently, the predictions from all subgraphs are consolidated to derive the complete set of predicted triples on KG. Finally, the method is evaluated on the relatively complete CFamily dataset. The experimental results indicate that when LLMs are required to adhere to a large amount of factual knowledge to predict missing triples, significant hallucinations occurs, leading to a noticeable decline in performance. To further explore the causes of this phenomenon, this paper presents a comprehensive analysis supported by a detailed case study.
• Abstract（参考訳）: 知識グラフ補完(KGC)タスクの中核は、KGの欠落した関係やノードを予測し、完了させることである。 一般的なKGCタスクは1つまたは2つの要素が三重項で知られている未知の要素を推測することである。 対照的に、トリプルセット予測(TSP)タスクはより現実的な知識グラフ補完タスクである。 未知の三重項のすべての要素を、既知の三重項の情報に基づいて予測することを目的としている。 近年,大規模言語モデル (LLMs) は言語理解の大幅な進歩を示し,KGCタスクの潜在的な可能性を示している。 しかし TSP タスクにおける LLM の可能性はまだ検討されていない。 そこで本稿では,TLP タスクにおける LLM の長所と短所を探求する新たな枠組みを提案する。 具体的には、LLMベースのルールマイニングとLLMベースのトリプルセット予測で構成されている。 リッチセマンティック情報に埋め込まれたKGの関係リストを最初に活用し,ルール生成におけるLCMの促進を行う。 このプロセスは、統計情報から独立しており、効率的かつ現実的なルールをマイニングするのが容易である。 各部分グラフに対して、指定された規則は、その部分グラフ内の関連する三重項と共に適用され、欠落した三重項を予測するのにLLMを導く。 その後、すべての部分グラフからの予測は統合され、KG上の予測三重項の完全な集合を導出する。 最後に、この手法を比較的完全なCFamilyデータセットで評価する。 実験結果から,LSMが欠落した三重項を予測するために大量の事実知識に従わなければならない場合,幻覚が顕著に発生し,性能が著しく低下することが示唆された。 本報告では, この現象の原因をさらに解明するため, 詳細な事例研究による包括的分析を行った。

関連論文リスト

• KG-CF: Knowledge Graph Completion with Context Filtering under the Guidance of Large Language Models [55.39134076436266]
  KG-CFはランキングベースの知識グラフ補完タスクに適したフレームワークである。 KG-CFは、LLMの推論能力を活用して、無関係なコンテキストをフィルタリングし、現実世界のデータセットで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-01-06T01:52:15Z)
• Can LLMs be Good Graph Judger for Knowledge Graph Construction? [33.958327252291]
  本稿では,上記の課題に対処するための知識グラフ構築フレームワークであるGraphJudgerを提案する。 提案手法には,エンティティ中心の反復的テキスト記述,知識認識型指導チューニング,グラフ判断の3つの革新的なモジュールが導入されている。 2つの一般的なテキストグラフペアデータセットと1つのドメイン固有のテキストグラフペアデータセットによる実験は、ベースライン法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-26T12:46:57Z)
• GS-KGC: A Generative Subgraph-based Framework for Knowledge Graph Completion with Large Language Models [7.995716933782121]
  我々は textbfGenerative textbfSubgraph-based KGC (GS-KGC) と呼ばれる新しい補完フレームワークを提案する。 このフレームワークは、主に負と隣人を生成するように設計された部分グラフ分割アルゴリズムを含んでいる。 4つの共通のKGCデータセットで実施された実験は、提案されたGS-KGCの利点を強調している。
  論文  参考訳（メタデータ） (2024-08-20T13:13:41Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Start from Zero: Triple Set Prediction for Automatic Knowledge Graph Completion [49.19814695500355]
  トリプルセット予測(TSP)と呼ばれるグラフレベルの自動KG補完タスクを提案する。 TSPは、欠落した三重項の要素が与えられていないと仮定する。 予測のための巨大な候補三重項に対処するために,新しい,効率的なサブグラフベースGPHTを提案する。
  論文  参考訳（メタデータ） (2024-06-26T08:26:32Z)
• Few-shot Knowledge Graph Relational Reasoning via Subgraph Adaptation [51.47994645529258]
  Few-shot Knowledge Graph (KG) Reasoningは、KGにおける稀な関係に対して、目に見えない三つ子(すなわちクエリ三つ子)を予測することを目的としている。 本稿では,種々のサブグラフに文脈化グラフの情報を効果的に適応させる手法であるSAFER(Subgraph Adaptation for Few-shot Reasoning)を提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:40:35Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• Chain-of-History Reasoning for Temporal Knowledge Graph Forecasting [32.711428457485596]
  時間的知識グラフ(TKG)予測は、与えられた履歴に基づいて将来の事実を予測することを目的としている。 最近のグラフベースのモデルでは、TKG内の構造情報の取得が優れているが、意味的理解能力は欠如している。 本稿では,高次歴史を段階的に探求する『歴史の連鎖』(CoH)推論を提案する。
  論文  参考訳（メタデータ） (2024-02-22T08:51:39Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。