論文の概要: PIP-KAG: Mitigating Knowledge Conflicts in Knowledge-Augmented Generation via Parametric Pruning

• arxiv url: http://arxiv.org/abs/2502.15543v1
• Date: Fri, 21 Feb 2025 15:50:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:06.323903
• Title: PIP-KAG: Mitigating Knowledge Conflicts in Knowledge-Augmented Generation via Parametric Pruning
• Title（参考訳）: PIP-KAG:パラメトリックプルーニングによる知識強化生成における知識衝突の軽減
• Authors: Pengcheng Huang, Zhenghao Liu, Yukun Yan, Xiaoyuan Yi, Hao Chen, Zhiyuan Liu, Maosong Sun, Tong Xiao, Ge Yu, Chenyan Xiong,
• Abstract要約: Knowledge-Augmented Generation (KAG) は,Large Language Models (LLMs) の内部メモリの更新において,大きな可能性を秘めている。 これらの対立を緩和するための現在のアプローチは、主に外部知識の利用を改善することに焦点を当てている。 本稿では,LLMの内部知識を引き出すParametrIc Pruning-based Knowledge-Augmented Generation (PIP-KAG)アプローチを提案する。
• 参考スコア（独自算出の注目度）: 92.07119924043461
• License:
• Abstract: Knowledge-Augmented Generation (KAG) has shown great promise in updating the internal memory of Large Language Models (LLMs) by integrating external knowledge. However, KAG inevitably faces knowledge conflicts when the internal memory contradicts external information. Current approaches to mitigating these conflicts mainly focus on improving external knowledge utilization. However, these methods have shown only limited effectiveness in mitigating the knowledge conflict problem, as internal knowledge continues to influence the generation process of LLMs. In this paper, we propose a ParametrIc Pruning-based Knowledge-Augmented Generation (PIP-KAG) approach, which prunes internal knowledge of LLMs and incorporates a plug-and-play adaptation module to help LLMs better leverage external sources. Additionally, we construct the CoConflictQA benchmark based on the hallucination of LLMs to better evaluate contextual faithfulness during answering questions. Experimental results on CoConflictQA demonstrate that PIP-KAG significantly reduces knowledge conflicts and improves context fidelity. Notably, PIP-KAG reduces LLM's parameters by 13%, enhancing parameter efficiency in LLMs within the KAG framework. All codes are available at https://github.com/OpenBMB/PIP-KAG.
• Abstract（参考訳）: Knowledge-Augmented Generation (KAG)は、外部知識を統合することで、Large Language Models (LLM)の内部メモリを更新する大きな可能性を示している。 しかし、内部メモリが外部情報と矛盾する場合、KAGは必然的に知識の衝突に直面している。 これらの対立を緩和するための現在のアプローチは、主に外部知識の利用を改善することに焦点を当てている。 しかし、これらの手法はLLMの生成過程に影響を与え続けているため、知識衝突問題の緩和に限定的な効果しか示していない。 本稿では,ParametrIc Pruning-based Knowledge-Augmented Generation (PIP-KAG)アプローチを提案する。 さらに,LLMの幻覚に基づくCoConflictQAベンチマークを構築し,回答時の文脈的忠実度をよりよく評価する。 CoConflictQA実験の結果、PIP-KAGは知識の衝突を著しく減らし、文脈の忠実度を向上することが示された。 特に、PIP-KAG は LLM のパラメータを 13% 削減し、KAG フレームワーク内の LLM のパラメータ効率を向上させる。 すべてのコードはhttps://github.com/OpenBMB/PIP-KAGで入手できる。

関連論文リスト

• What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context [19.78140793942713]
  本稿では,マルチホップQAを扱う際に,LLMが好む不完全な文脈における外部知識に着目した。 犯罪手続法における証拠の連鎖(CoE)に着想を得て, LLMが好む知識は, 問題との関連と, 知識の相互支援の両方を維持すべきである,と特徴づける。 提案手法は,LLMの有効性,忠実性,頑健性,および単純検索型RAG(Retrieval-Augmented Generation)におけるCoEのユーザビリティについて検討するものである。
  論文  参考訳（メタデータ） (2024-12-17T07:49:49Z)
• Understanding the Interplay between Parametric and Contextual Knowledge for Large Language Models [85.13298925375692]
  大規模言語モデル(LLM)は、事前訓練中に大量の知識を符号化する。 LLMは文脈知識(CK)を取り入れることで拡張できる LLMは複雑な問題を解決するために、内部PKと外部CKを効果的に統合できるのか?
  論文  参考訳（メタデータ） (2024-10-10T23:09:08Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• "Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs [15.660128743249611]
  大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。 LLMは必然的にユーザとの対話中に外部知識を必要とする。 外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
  論文  参考訳（メタデータ） (2023-09-15T17:47:59Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts [21.34852490049787]
  本稿では,大規模言語モデル(LLM)の知識衝突時の行動に関する包括的かつ制御された最初の調査について述べる。 LLMは, パラメトリックメモリと矛盾しても, 外部の証拠に対して高い受容性を有することが判明した。 一方、LCMは、外部証拠がパラメトリックメモリと整合した情報を含む場合、強い確証バイアスを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:57:41Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。