論文の概要: Internal and External Knowledge Interactive Refinement Framework for Knowledge-Intensive Question Answering

• arxiv url: http://arxiv.org/abs/2408.12979v1
• Date: Fri, 23 Aug 2024 10:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 15:20:16.359169
• Title: Internal and External Knowledge Interactive Refinement Framework for Knowledge-Intensive Question Answering
• Title（参考訳）: 知識集約型質問応答のための内部的および外部的知識対話型リファインメントフレームワーク
• Authors: Haowei Du, Dongyan Zhao,
• Abstract要約: 本稿では,IEKRと呼ばれる新たな内部知識と外部知識の対話的改良パラダイムを提案する。 LLM に “Tell me something about” のようなプロンプトを追加するだけで、関連する明示的な知識をレビューして、クエリに挿入して外部検索します。
• 参考スコア（独自算出の注目度）: 33.89176174108559
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent works have attempted to integrate external knowledge into LLMs to address the limitations and potential factual errors in LLM-generated content. However, how to retrieve the correct knowledge from the large amount of external knowledge imposes a challenge. To this end, we empirically observe that LLMs have already encoded rich knowledge in their pretrained parameters and utilizing these internal knowledge improves the retrieval of external knowledge when applying them to knowledge-intensive tasks. In this paper, we propose a new internal and external knowledge interactive refinement paradigm dubbed IEKR to utilize internal knowledge in LLM to help retrieve relevant knowledge from the external knowledge base, as well as exploit the external knowledge to refine the hallucination of generated internal knowledge. By simply adding a prompt like 'Tell me something about' to the LLMs, we try to review related explicit knowledge and insert them with the query into the retriever for external retrieval. The external knowledge is utilized to complement the internal knowledge into input of LLM for answers. We conduct experiments on 3 benchmark datasets in knowledge-intensive question answering task with different LLMs and domains, achieving the new state-of-the-art. Further analysis shows the effectiveness of different modules in our approach.
• Abstract（参考訳）: 最近の研究は、LLM生成コンテンツの限界や潜在的な事実エラーに対処するために、外部知識をLCMに統合しようと試みている。 しかし、大量の外部知識から正しい知識を回収する方法は困難である。 この目的のために, LLM がすでに事前学習したパラメータの豊富な知識を符号化しており, 内部知識を利用することで, 知識集約タスクに適用する際の外部知識の検索が向上していることを実証的に観察した。 本稿では,IEKRと呼ばれる新たな内的・外的知識対話的改良パラダイムを提案し,LLMの内部知識を活用して,外部知識ベースから関連知識を検索し,外部知識を活用して生成した内的知識の幻覚を洗練させる。 LLM に “Tell me something about” のようなプロンプトを追加するだけで、関連する明示的な知識をレビューして、クエリに挿入して外部検索します。 外部知識は、内部知識を補うために利用され、答えの LLM の入力に使用される。 我々は,LLMとドメインの異なる知識集約型質問応答タスクにおいて,3つのベンチマークデータセットを用いて実験を行い,新しい最先端技術を実現する。 さらなる分析は、我々のアプローチにおける異なるモジュールの有効性を示している。

関連論文リスト

• Evaluating the External and Parametric Knowledge Fusion of Large Language Models [72.40026897037814]
  我々は、知識融合シナリオをシミュレートするデータ構築と知識注入のための体系的なパイプラインを開発する。 本研究は, LLMにおけるパラメトリック知識の強化が, 知識統合能力を大幅に向上させることを明らかにした。 本研究の目的は,LLM内の外部およびパラメトリック知識の調和を図ることにある。
  論文  参考訳（メタデータ） (2024-05-29T11:48:27Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [61.554209059971576]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。 新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。 Infuser-Guided Knowledge Integration フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• "Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs [15.660128743249611]
  大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。 LLMは必然的にユーザとの対話中に外部知識を必要とする。 外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
  論文  参考訳（メタデータ） (2023-09-15T17:47:59Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。