論文の概要: Evaluating the External and Parametric Knowledge Fusion of Large Language Models

• arxiv url: http://arxiv.org/abs/2405.19010v1
• Date: Wed, 29 May 2024 11:48:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 17:30:13.923277
• Title: Evaluating the External and Parametric Knowledge Fusion of Large Language Models
• Title（参考訳）: 大規模言語モデルの外部およびパラメトリック知識融合の評価
• Authors: Hao Zhang, Yuyang Zhang, Xiaoguang Li, Wenxuan Shi, Haonan Xu, Huanshuo Liu, Yasheng Wang, Lifeng Shang, Qun Liu, Yong Liu, Ruiming Tang,
• Abstract要約: 我々は、知識融合シナリオをシミュレートするデータ構築と知識注入のための体系的なパイプラインを開発する。 本研究は, LLMにおけるパラメトリック知識の強化が, 知識統合能力を大幅に向上させることを明らかにした。 本研究の目的は,LLM内の外部およびパラメトリック知識の調和を図ることにある。
• 参考スコア（独自算出の注目度）: 72.40026897037814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrating external knowledge into large language models (LLMs) presents a promising solution to overcome the limitations imposed by their antiquated and static parametric memory. Prior studies, however, have tended to over-reliance on external knowledge, underestimating the valuable contributions of an LLMs' intrinsic parametric knowledge. The efficacy of LLMs in blending external and parametric knowledge remains largely unexplored, especially in cases where external knowledge is incomplete and necessitates supplementation by their parametric knowledge. We propose to deconstruct knowledge fusion into four distinct scenarios, offering the first thorough investigation of LLM behavior across each. We develop a systematic pipeline for data construction and knowledge infusion to simulate these fusion scenarios, facilitating a series of controlled experiments. Our investigation reveals that enhancing parametric knowledge within LLMs can significantly bolster their capability for knowledge integration. Nonetheless, we identify persistent challenges in memorizing and eliciting parametric knowledge, and determining parametric knowledge boundaries. Our findings aim to steer future explorations on harmonizing external and parametric knowledge within LLMs.
• Abstract（参考訳）: 外部知識を大規模言語モデル(LLM)に統合することは、古い静的パラメトリックメモリによって課される制限を克服する、有望なソリューションを提供する。 しかしながら、先行研究は外部知識に過度に依存する傾向にあり、LLMの本質的なパラメトリック知識の貴重な貢献を過小評価している。 外部知識とパラメトリック知識を混合するLLMの有効性は、特に外部知識が不完全であり、パラメトリック知識による補足を必要とする場合において、ほとんど解明されていない。 我々は,知識融合を4つの異なるシナリオに分解し,各シナリオにまたがるLLMの挙動を初めて徹底的に調査することを提案する。 我々は、これらの融合シナリオをシミュレートし、一連の制御された実験を容易にするために、データ構築と知識注入のための体系的なパイプラインを開発する。 本研究は, LLMにおけるパラメトリック知識の強化が, 知識統合能力を大幅に向上させることを明らかにした。 それにもかかわらず、パラメトリック知識の記憶と抽出、およびパラメトリック知識境界の決定における永続的な課題を特定する。 本研究の目的は,LLM内の外部およびパラメトリック知識の調和を図ることにある。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Internal and External Knowledge Interactive Refinement Framework for Knowledge-Intensive Question Answering [33.89176174108559]
  本稿では,IEKRと呼ばれる新たな内部知識と外部知識の対話的改良パラダイムを提案する。 LLM に “Tell me something about” のようなプロンプトを追加するだけで、関連する明示的な知識をレビューして、クエリに挿入して外部検索します。
  論文  参考訳（メタデータ） (2024-08-23T10:52:57Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Augmenting LLMs with Knowledge: A survey on hallucination prevention [0.0]
  この調査は言語モデル(LM)の領域を掘り下げ、外部の知識ソースをタップする機能を備えている。 欠落したトークンを予測するという標準的な目的に固執する一方で、これらの拡張LMは多種多様で、おそらくパラメトリックでない外部モジュールを活用する。
  論文  参考訳（メタデータ） (2023-09-28T14:09:58Z)
• "Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs [15.660128743249611]
  大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。 LLMは必然的にユーザとの対話中に外部知識を必要とする。 外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
  論文  参考訳（メタデータ） (2023-09-15T17:47:59Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [91.30946119104111]
  大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Thrust: Adaptively Propels Large Language Models with External Knowledge [58.72867916604562]
  大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。 PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。 本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
  論文  参考訳（メタデータ） (2023-07-19T20:16:46Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。