論文の概要: Enhancing Large Language Models with Pseudo- and Multisource- Knowledge
Graphs for Open-ended Question Answering
- arxiv url: http://arxiv.org/abs/2402.09911v1
- Date: Thu, 15 Feb 2024 12:20:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 15:51:35.345599
- Title: Enhancing Large Language Models with Pseudo- and Multisource- Knowledge
Graphs for Open-ended Question Answering
- Title(参考訳): オープンエンド質問応答のための疑似およびマルチソース知識グラフによる大規模言語モデルの拡張
- Authors: Jiaxiang Liu, Tong Zhou, Yubo Chen, Kang Liu, Jun Zhao
- Abstract要約: Pseudo-Graph GenerationとAtomic Knowledge Verificationを組み合わせたフレームワークを提案する。
ベースラインと比較して、オープンエンド質問に対するROUGE-Lスコアの11.5の最小改善が得られる。
- 参考スコア(独自算出の注目度): 23.88063210973303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mitigating the hallucinations of Large Language Models (LLMs) and enhancing
them is a crucial task. Although some existing methods employ model
self-enhancement techniques, they fall short of effectively addressing unknown
factual hallucinations. Using Knowledge Graph (KG) enhancement approaches fails
to address the generalization across different KG sources and the enhancement
of open-ended answer questions simultaneously. To tackle these limitations,
there is a framework that combines Pseudo-Graph Generation and Atomic Knowledge
Verification proposed. The enhancement of LLM using KG in an open-ended
question-answering setting is implemented by leveraging the Pseudo-Graph
Generation. Atomic Knowledge Verification utilizes atomic-level knowledge
querying and verification to achieve generalizability under different KG
sources. Compared to the baseline, this approach yields a minimum improvement
of 11.5 in the ROUGE-L score for open-ended questions. For precise questions,
we observe a minimum accuracy improvement of 7.5. Moreover, there is also
demonstration that this framework exhibits generalizability across different KG
sources. In summary, our results pave the way for enhancing LLMs by
incorporating Pseudo- and Multisource-KGs, particularly in the context of
open-ended questions.
- Abstract(参考訳): LLM(Large Language Models)の幻覚を緩和し、それらを強化することが重要な課題である。
既存の手法ではモデル自己啓発技術を採用しているが、未知の事実の幻覚に効果的に対処できないものもある。
知識グラフ(KG)の強化アプローチは、異なるKGソース間の一般化と、オープンな回答質問の強化に同時に対処できない。
これらの制限に対処するため、Pseudo-Graph GenerationとAtomic Knowledge Verificationが提案されているフレームワークがある。
Pseudo-Graph 生成を利用して,KG を用いたオープンエンド質問応答環境における LLM の強化を実現する。
原子知識検証は、原子レベルの知識クエリと検証を利用して、異なるKGソース下での一般化性を実現する。
ベースラインと比較して、オープンエンド質問に対するROUGE-Lスコアの11.5の最小改善が得られる。
正確な質問に対しては、7.5の最小精度の改善を観察する。
さらに、このフレームワークは異なるKGソースにまたがる一般化性を示すという実証もある。
要約すると,本研究は疑似およびマルチソースkgを組み込むことにより,特にオープンエンド質問の文脈において,llmの強化の道を開くものである。
関連論文リスト
- Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [39.4203349659232]
本稿では,知識グラフにおけるマルチホップリンク予測を強化するために,知識グラフ大言語モデルフレームワーク(KG-LLM)を提案する。
知識グラフをチェーン・オブ・シークレットのプロンプトに変換することで、我々のフレームワークは、エンティティの潜在表現とその相互関係を識別し、学習するように設計されている。
論文 参考訳(メタデータ) (2024-03-12T04:47:29Z) - FedCQA: Answering Complex Queries on Multi-Source Knowledge Graphs via
Federated Learning [55.02512821257247]
複雑な論理的問合せ応答は知識グラフ(KG)の課題である
近年、KGエンティティを埋め込みベクトルに表現し、KGからの論理的クエリに対する回答を求める手法が提案されている。
マルチソースKGのクエリにどのように答えるかは、まだ不明である。
論文 参考訳(メタデータ) (2024-02-22T14:57:44Z) - KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning
over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。
KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。
有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文 参考訳(メタデータ) (2024-02-17T02:07:49Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation
with Graph-Structured Knowledge Context [4.368725325557961]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Let's Chat to Find the APIs: Connecting Human, LLM and Knowledge Graph
through AI Chain [21.27256145010061]
本稿では,APIレコメンデーションのための知識誘導型クエリ明確化手法を提案する。
我々は、知識グラフ(KG)によって導かれる大きな言語モデル(LLM)を用いて、語彙外障害(OOV)を克服する。
我々のアプローチは、5つのステップからなるAIチェーンとして設計されており、それぞれが別々のLLMコールによって処理される。
論文 参考訳(メタデータ) (2023-09-28T03:31:01Z) - Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for
Knowledge Graph Question Answering [16.434098552925427]
本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。
そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-20T10:42:08Z) - Empowering Language Models with Knowledge Graph Reasoning for Question
Answering [117.79170629640525]
我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。
OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。
クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
論文 参考訳(メタデータ) (2022-11-15T18:26:26Z) - BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from
Pretrained Language Models [65.51390418485207]
本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。
関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。
我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
論文 参考訳(メタデータ) (2022-06-28T19:46:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。