論文の概要: LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities
and Future Opportunities
- arxiv url: http://arxiv.org/abs/2305.13168v2
- Date: Thu, 22 Feb 2024 10:15:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 19:13:14.778458
- Title: LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities
and Future Opportunities
- Title(参考訳): 知識グラフ構築と推論のためのLLM:最近の能力と将来の可能性
- Authors: Yuqi Zhu, Xiaohan Wang, Jing Chen, Shuofei Qiao, Yixin Ou, Yunzhi Yao,
Shumin Deng, Huajun Chen, Ningyu Zhang
- Abstract要約: 知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。
我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
- 参考スコア(独自算出の注目度): 68.86209486449924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents an exhaustive quantitative and qualitative evaluation of
Large Language Models (LLMs) for Knowledge Graph (KG) construction and
reasoning. We engage in experiments across eight diverse datasets, focusing on
four representative tasks encompassing entity and relation extraction, event
extraction, link prediction, and question-answering, thereby thoroughly
exploring LLMs' performance in the domain of construction and inference.
Empirically, our findings suggest that LLMs, represented by GPT-4, are more
suited as inference assistants rather than few-shot information extractors.
Specifically, while GPT-4 exhibits good performance in tasks related to KG
construction, it excels further in reasoning tasks, surpassing fine-tuned
models in certain cases. Moreover, our investigation extends to the potential
generalization ability of LLMs for information extraction, leading to the
proposition of a Virtual Knowledge Extraction task and the development of the
corresponding VINE dataset. Based on these empirical findings, we further
propose AutoKG, a multi-agent-based approach employing LLMs and external
sources for KG construction and reasoning. We anticipate that this research can
provide invaluable insights for future undertakings in the field of knowledge
graphs. The code and datasets are in https://github.com/zjunlp/AutoKG.
- Abstract(参考訳): 本稿では,知識グラフの構築と推論のためのLarge Language Models (LLMs) の定量的,定性的評価について述べる。
我々は,エンティティと関係抽出,イベント抽出,リンク予測,質問応答を含む4つの代表的なタスクに焦点をあてて,8つの多様なデータセットを対象とした実験を行い,建設・推論領域におけるLLMの性能を徹底的に調査した。
実験により, GPT-4で表されるLPMは, 少数の情報抽出装置よりも推論アシスタントとして好適であることが示唆された。
特に、gpt-4はkg構成に関わるタスクにおいて優れた性能を示すが、特定のケースでは微調整されたモデルを上回るようなタスクの推論には優れている。
さらに、情報抽出のためのLLMの潜在的な一般化能力についても検討を行い、仮想知識抽出タスクの提案と対応するVINEデータセットの開発につながった。
これらの経験的知見に基づき, llms と外部ソースを用いた多エージェント方式による kg の構築と推論を行う autokg の提案を行う。
本研究は,知識グラフの分野における今後の課題に対する貴重な洞察を期待する。
コードとデータセットはhttps://github.com/zjunlp/AutoKGにある。
関連論文リスト
- Multi-perspective Improvement of Knowledge Graph Completion with Large
Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。
我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文 参考訳(メタデータ) (2024-03-04T12:16:15Z) - Clue-Guided Path Exploration: An Efficient Knowledge Base
Question-Answering Framework with Low Computational Resource Consumption [22.74267517598694]
知識ベースとLLMを効率的にマージするCGPE(Clue-Guided Path Exploration framework)を導入する。
CGPEは、人間が手動で知識を検索する手法にインスパイアされ、必要な知識経路を体系的に探索するための手がかりとして、質問からの情報を利用する。
オープンソースデータセットの実験では、CGPEは従来の手法よりも優れており、パラメータが少ないLCMに適用可能であることが明らかになった。
論文 参考訳(メタデータ) (2024-01-24T13:36:50Z) - Mining experimental data from Materials Science literature with Large
Language Models [2.1683895991674516]
本研究は,高度大言語モデル(LLM)の能力を評価することを目的としている。
我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。
NERでは、LLMはゼロショットプロンプトでベースラインを上回り、少数ショットプロンプトで限定的な改善しか示さない。
REの場合、GPT-3.5-Turboは適切な戦略で微調整され、ベースラインを含む全てのモデルより優れている。
論文 参考訳(メタデータ) (2024-01-19T23:00:31Z) - Evaluating and Enhancing Large Language Models for Conversational
Reasoning on Knowledge Graphs [15.480976967871632]
我々は知識グラフ(KG)を用いた現在最先端の大規模言語モデル(GPT-4)の会話推論能力を評価する。
我々は,KG経路の正確かつ適応的な予測を行うために設計された基底KG推論エージェントであるLLM-ARKを紹介する。
LLaMA-2-7B-ARKは、現在の最先端モデルよりも5.28ポイント優れており、ターゲット@1評価基準では36.39%である。
論文 参考訳(メタデータ) (2023-12-18T15:23:06Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) [121.42924593374127]
我々は,最新のモデルであるGPT-4Vを分析し,LMMの理解を深める。
GPT-4Vは、任意にインターリーブされたマルチモーダル入力を処理するという前例のない能力により、強力なマルチモーダルジェネラリストシステムとなっている。
GPT-4Vの、入力画像に描かれた視覚マーカーを理解するユニークな能力は、新しい人間とコンピュータの相互作用方法をもたらす。
論文 参考訳(メタデータ) (2023-09-29T17:34:51Z) - Can LLMs Augment Low-Resource Reading Comprehension Datasets?
Opportunities and Challenges [3.358625623993593]
GPT-4は、既存の読解データセットを強化するために使用できる。
この研究は、QAシステムのための合成データ拡張器としてLLMを初めて分析した。
論文 参考訳(メタデータ) (2023-09-21T18:48:02Z) - Large Language Models as Data Preprocessors [10.914067455923847]
OpenAIのGPTシリーズとMetaのLLaMAに代表されるLarge Language Models (LLMs)は、人工知能において大きな進歩を遂げている。
この研究は、LLMの応用を拡大し、データ前処理におけるその可能性を探る。
我々は,最先端のプロンプト技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T23:28:43Z) - Exploring Large Language Model for Graph Data Understanding in Online
Job Recommendations [63.19448893196642]
本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。
この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
論文 参考訳(メタデータ) (2023-07-10T11:29:41Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。