Fugu-MT 論文翻訳(概要): Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

論文の概要: Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

arxiv url: http://arxiv.org/abs/2306.11489v2
Date: Tue, 30 Jan 2024 12:11:45 GMT
ステータス: 処理完了
システム内更新日: 2024-01-31 19:14:28.545799
Title: Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling
Title（参考訳）: 事実: ファクトアウェア言語モデリングのための知識グラフによる大規模言語モデルの拡張
Authors: Linyao Yang and Hongyang Chen and Zhao Li and Xiao Ding and Xindong Wu
Abstract要約: 代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。 KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
参考スコア（独自算出の注目度）: 34.59678835272862
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, ChatGPT, a representative large language model (LLM), has gained considerable attention due to its powerful emergent abilities. Some researchers suggest that LLMs could potentially replace structured knowledge bases like knowledge graphs (KGs) and function as parameterized knowledge bases. However, while LLMs are proficient at learning probabilistic language patterns based on large corpus and engaging in conversations with humans, they, like previous smaller pre-trained language models (PLMs), still have difficulty in recalling facts while generating knowledge-grounded contents. To overcome these limitations, researchers have proposed enhancing data-driven PLMs with knowledge-based KGs to incorporate explicit factual knowledge into PLMs, thus improving their performance to generate texts requiring factual knowledge and providing more informed responses to user queries. This paper reviews the studies on enhancing PLMs with KGs, detailing existing knowledge graph enhanced pre-trained language models (KGPLMs) as well as their applications. Inspired by existing studies on KGPLM, this paper proposes to enhance LLMs with KGs by developing knowledge graph-enhanced large language models (KGLLMs). KGLLM provides a solution to enhance LLMs' factual reasoning ability, opening up new avenues for LLM research.
Abstract（参考訳）: 近年,代表的大規模言語モデル(LLM)であるChatGPTは,その強力な創発的能力によって注目されている。一部の研究者は、LLMが知識グラフ(KG)のような構造化知識ベースを置き換える可能性があり、パラメータ化された知識ベースとして機能することを示唆している。しかし、LLMは大きなコーパスに基づいて確率的言語パターンを学習し、人間との会話を行うのに長けているが、以前のより小さな事前学習言語モデル(PLM)と同様に、知識を基盤としたコンテンツを生成しながら事実を思い出すのが困難である。これらの制限を克服するために、研究者は、知識に基づくKGを用いてデータ駆動型PLMを拡張して、PLMに明示的な事実知識を組み込むことを提案している。本稿では、既存の知識グラフ強化事前学習言語モデル(kgplms)とその応用を詳述した、kgsによるplmの強化に関する研究を概観する。本稿では,知識グラフ強化大言語モデル(KGLLM)を開発することにより,KGPLMに関する既存の研究からヒントを得て,LLMをKGで拡張することを提案する。 KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。

関連論文リスト

Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
知識グラフ(KG) モデルパラメータの埋め込みはますますコストがかかる。現在のプロンプト方式は、しばしばトライアル・アンド・エラー方式に依存している。非順序線形化三重項は、流線型NLテキストと比較して、LLMのKG理解に有効であることを示す。
論文参考訳（メタデータ） (2024-02-18T10:44:03Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph [11.808990571175269]
大規模言語モデル(LLM)は、その強力な自然言語理解とゼロショット能力によって、様々な下流タスクにおいて優れたパフォーマンスを達成しているが、LLMは依然として知識制限に悩まされている。本稿では,知識グラフから外部知識を効率的に正確に検索し,これらの課題に対処する新しいフレームワークであるKnowledgeNavigatorを提案する。我々は,複数のKGQAベンチマーク上でKnowledgeNavigatorを評価し,そのフレームワークの有効性と一般化を実証した。
論文参考訳（メタデータ） (2023-12-26T04:22:56Z)
KnowGPT: Knowledge Graph based Prompting for Large Language Models [28.605161596626875]
本稿では,知識グラフに基づく PrompTing フレームワーク,すなわち KnowGPT を導入し,ドメイン知識で大規模言語モデルを強化する。 KnowGPTには、KGから最も情報性の高い知識を抽出する知識抽出モジュールと、抽出した知識を自動的に効果的なプロンプトに変換するコンテキスト対応プロンプト構築モジュールが含まれている。 KnowGPTはOpenbookQAのリーダーボードで92.6%の精度を実現している。
論文参考訳（メタデータ） (2023-12-11T07:56:25Z)
Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文参考訳（メタデータ） (2023-11-22T11:08:38Z)
Graph Neural Prompting with Large Language Models [32.97391910476073]
Graph Neural Prompting (GNP)は、知識グラフから有益な知識を学ぶために、事前訓練された言語モデルを支援するための新しいプラグアンドプレイ方式である。複数のデータセットに対する大規模な実験は、常識的および生物医学的推論タスクにおいて、GNPの優位性を示す。
論文参考訳（メタデータ） (2023-09-27T06:33:29Z)
Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
論文参考訳（メタデータ） (2023-06-14T07:15:26Z)
Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文参考訳（メタデータ） (2023-05-15T15:47:09Z)
Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-08T15:05:16Z)
Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
言語モデルは多言語言語モデル(MLLM)に拡張された。知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
論文参考訳（メタデータ） (2022-10-24T21:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。