論文の概要: Enhancing Large Language Models with Pseudo- and Multisource- Knowledge Graphs for Open-ended Question Answering

• arxiv url: http://arxiv.org/abs/2402.09911v2
• Date: Mon, 03 Mar 2025 09:21:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:12:29.160694
• Title: Enhancing Large Language Models with Pseudo- and Multisource- Knowledge Graphs for Open-ended Question Answering
• Title（参考訳）: Pseudo- and Multisource- Knowledge Graphs を用いた大規模言語モデルのオープンエンド質問応答への応用
• Authors: Jiaxiang Liu, Tong Zhou, Yubo Chen, Kang Liu, Jun Zhao,
• Abstract要約: Pseudo-Graph GenerationとAtomic Knowledge Verificationを組み合わせたフレームワークを提案する。 ベースラインと比較して、オープンエンド質問に対するROUGE-Lスコアの11.5の最小改善が得られる。
• 参考スコア（独自算出の注目度）: 22.259143559398915
• License:
• Abstract: Mitigating the hallucinations of Large Language Models is a crucial task. Although some existing methods employ self-enhancement techniques, they fall short of effectively addressing unknown factual hallucinations. Meanwhile, Knowledge Graph (KG) enhancement approaches fail to address the generalization across different KG sources and the enhancement of open-ended answer questions simultaneously. To tackle these limitations, we propose a framework that combines Pseudo-Graph Generation and Atomic Knowledge Verification (PG\&AKV). Enhancement of open-ended question-answering begins with leveraging the Pseudo-Graph Generation to provide the related knowledge framework. Subsequently, Atomic Knowledge Verification utilizes atomic-level knowledge querying and verification to achieve generalizability under different KG sources. Compared to the baseline, this approach yields a minimum improvement of 11.5 in the ROUGE-L score for open-ended questions. For precise-answered questions, we observe a minimum accuracy improvement of 7.5%. Moreover, PG\&AKV also exhibits generalizability across different KG sources. Utilizing KG different from the question sources, PG\&AKV can even achieve at least a 3.5 % performance improvement. In summary, our results pave the way for enhancing LLMs by incorporating Pseudo- and Multisource-KGs, particularly in the filed of open-ended questions.
• Abstract（参考訳）: 大規模言語モデルの幻覚を緩和することは重要な課題である。 既存の手法の中には自己啓発技法を用いるものもあるが、未知の事実の幻覚に効果的に対応できないものもある。 一方、知識グラフ(KG)拡張アプローチは、異なるKGソース間の一般化と、オープンな回答質問の強化に同時に対処することができない。 これらの制約に対処するために、擬グラフ生成と原子知識検証(PG\&AKV)を組み合わせたフレームワークを提案する。 オープンな質問回答の強化は、Pseudo-Graph Generationを活用して、関連する知識フレームワークの提供から始まる。 その後、原子レベルの知識クエリと検証を利用して、異なるKGソース下での一般化性を実現する。 ベースラインと比較して、オープンエンド質問に対するROUGE-Lスコアの11.5の最小改善が得られる。 精度の高い質問に対して、最小の精度改善は7.5%である。 さらに、PG\&AKVは異なるKGソースにまたがる一般化性を示す。 PG\&AKVは、質問ソースと異なるKGを用いることで、少なくとも3.5%のパフォーマンス改善を達成できる。 まとめると,我々はPseudo-とMultisource-KGを組み込むことでLCMの強化の道を開いた。

関連論文リスト

• GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion [52.026016846945424]
  我々は、KGの構造情報をエンコードし、それを大規模言語モデルにマージするGLTWと呼ばれる新しい手法を提案する。 具体的には、局所構造情報とグローバル構造情報の両方を効果的に符号化する改良されたグラフ変換器(iGT)を導入する。 また,KG内のすべてのエンティティを分類対象として用いたサブグラフに基づく多分類学習目標を開発し,学習効率を向上する。
  論文  参考訳（メタデータ） (2025-02-17T06:02:59Z)
• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Can Knowledge Graphs Make Large Language Models More Trustworthy? An Empirical Study Over Open-ended Question Answering [30.12049172634714]
  本研究では,Large Language Models(LLM)をオープンエンド環境でより信頼性の高いものにできるかどうかを考察する。 OKGQAは、Knowledge Graphsで強化されたLLMを、オープンエンドの現実世界の質問応答シナリオで評価するために特別に設計されたベンチマークである。 OKGQA-Pは、KGのセマンティクスと構造が意図的に乱れ、汚染された場合のモデル性能を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2024-10-10T16:29:21Z)
• Empowering Small-Scale Knowledge Graphs: A Strategy of Leveraging General-Purpose Knowledge Graphs for Enriched Embeddings [3.7759315989669058]
  汎用KGを用いた小規模ドメイン固有知識グラフの埋め込みを充実させるフレームワークを提案する。 実験では、Hits@10測定値で最大44%の上昇が観測された。 この比較的探索されていない研究方向は、知識集約的なタスクにおいて、KGのより頻繁な取り込みを触媒することができる。
  論文  参考訳（メタデータ） (2024-05-17T12:46:23Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [43.55117421485917]
  本稿では,知識グラフタスクに大規模言語モデル(LLM)を活用する新しいフレームワークである知識グラフ大言語モデル(KG-LLM)を紹介する。 まず、構造化知識グラフデータを自然言語に変換し、次にこれらの自然言語プロンプトを微調整 LLM に変換する。 KG-LLMフレームワークの有効性を示すため,Flan-T5,LLaMa2,Gemmaの3つのLLMを微調整した。
  論文  参考訳（メタデータ） (2024-03-12T04:47:29Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for Knowledge Graph Question Answering [16.434098552925427]
  本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。 そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-20T10:42:08Z)
• Empowering Language Models with Knowledge Graph Reasoning for Question Answering [117.79170629640525]
  我々はknOwledge ReasOning empowered Language Model (OREO-LM)を提案する。 OREO-LMは、既存のTransformerベースのLMに柔軟に接続できる新しい知識相互作用層で構成されている。 クローズド・ブック・セッティングにおいて,最先端の成果が得られ,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-15T18:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。