論文の概要: LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities
and Future Opportunities
- arxiv url: http://arxiv.org/abs/2305.13168v1
- Date: Mon, 22 May 2023 15:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 14:48:41.346538
- Title: LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities
and Future Opportunities
- Title(参考訳): 知識グラフ構築と推論のためのLLM:最近の能力と将来の可能性
- Authors: Yuqi Zhu, Xiaohan Wang, Jing Chen, Shuofei Qiao, Yixin Ou, Yunzhi Yao,
Shumin Deng, Huajun Chen, Ningyu Zhang
- Abstract要約: 本稿では,知識グラフの構築と推論のためのLarge Language Models (LLMs) の定量的,定性的評価について述べる。
エンティティ、関係、イベント抽出、リンク予測、質問応答を含む8つの異なるデータセットを使用します。
実験の結果, GPT-4はタスクの大部分でChatGPTより優れており,特定の推論および質問応答データセットにおいて細調整されたモデルよりも優れていることが示唆された。
- 参考スコア(独自算出の注目度): 38.71888100262853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents an exhaustive quantitative and qualitative evaluation of
Large Language Models (LLMs) for Knowledge Graph (KG) construction and
reasoning. We employ eight distinct datasets that encompass aspects including
entity, relation and event extraction, link prediction, and question answering.
Empirically, our findings suggest that GPT-4 outperforms ChatGPT in the
majority of tasks and even surpasses fine-tuned models in certain reasoning and
question-answering datasets. Moreover, our investigation extends to the
potential generalization ability of LLMs for information extraction, which
culminates in the presentation of the Virtual Knowledge Extraction task and the
development of the VINE dataset. Drawing on these empirical findings, we
further propose AutoKG, a multi-agent-based approach employing LLMs for KG
construction and reasoning, which aims to chart the future of this field and
offer exciting opportunities for advancement. We anticipate that our research
can provide invaluable insights for future undertakings of KG\footnote{Code and
datasets will be available in https://github.com/zjunlp/AutoKG.
- Abstract(参考訳): 本稿では,知識グラフの構築と推論のためのLarge Language Models (LLMs) の定量的,定性的評価について述べる。
エンティティ、関係とイベント抽出、リンク予測、質問応答など8つの異なるデータセットを採用している。
実験の結果, GPT-4はタスクの大部分でChatGPTより優れており,特定の推論および質問応答データセットにおいて細調整されたモデルよりも優れていることが示唆された。
さらに,本研究は,仮想知識抽出タスクの提示やVINEデータセットの開発において決定される情報抽出のためのLLMの潜在的な一般化能力にも及んでいる。
これらの経験的知見に基づいて、我々はさらに、KGの構築と推論にLLMを用いたマルチエージェントベースのアプローチであるAutoKGを提案し、この分野の将来を図解し、進歩のためのエキサイティングな機会を提供することを目的としている。
KG\footnote{Codeとデータセットはhttps://github.com/zjunlp/AutoKG.com.comで利用可能になるだろう。
関連論文リスト
- MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。
既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。
そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
論文 参考訳(メタデータ) (2024-12-06T18:14:24Z) - Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models [0.0]
本稿では,クローズドドメイン質問応答システム(QA)の新たなアプローチを提案する。
ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)ドメインの特定のニーズに焦点を当てている。
論文 参考訳(メタデータ) (2024-10-24T00:49:46Z) - MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。
2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。
タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
論文 参考訳(メタデータ) (2024-07-06T00:40:53Z) - Explore then Determine: A GNN-LLM Synergy Framework for Reasoning over Knowledge Graph [38.31983923708175]
本稿では,知識グラフ(KGQA)に関する質問応答について述べる。
グラフニューラルネットワーク(GNN)とLarge Language Modelsを相乗化してKGを推論するExplore-then-Determine(EtD)フレームワークを提案する。
EtDは最先端のパフォーマンスを達成し、忠実な推論結果を生成する。
論文 参考訳(メタデータ) (2024-06-03T09:38:28Z) - Exploring the Potential of Large Language Models in Graph Generation [51.046188600990014]
グラフ生成は、与えられたプロパティを持つグラフを生成するために、大きな言語モデル(LLM)を必要とする。
本稿では,LLMのグラフ生成能力について,系統的なタスク設計と実験による検討を行う。
評価の結果,LLM,特にGPT-4は,グラフ生成タスクに予備的能力を示すことがわかった。
論文 参考訳(メタデータ) (2024-03-21T12:37:54Z) - Had enough of experts? Quantitative knowledge retrieval from large language models [4.091195951668217]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。
我々は、専門家のような事前知識を抽出し、欠落したデータを出力することで、LLMを活用してベイズモデルを強化するフレームワークを導入する。
論文 参考訳(メタデータ) (2024-02-12T16:32:37Z) - Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。
我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。
これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
論文 参考訳(メタデータ) (2024-01-19T23:00:31Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - Can LLMs Augment Low-Resource Reading Comprehension Datasets? Opportunities and Challenges [3.130575840003799]
GPT-4は、既存の読解データセットを強化するために使用できる。
この研究は、QAシステムのための合成データ拡張器としてLLMを初めて分析した。
論文 参考訳(メタデータ) (2023-09-21T18:48:02Z) - Knowledge-Augmented Reasoning Distillation for Small Language Models in
Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。
外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。
我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文 参考訳(メタデータ) (2023-05-28T13:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。