論文の概要: IRCAN: Mitigating Knowledge Conflicts in LLM Generation via Identifying and Reweighting Context-Aware Neurons

• arxiv url: http://arxiv.org/abs/2406.18406v2
• Date: Thu, 14 Nov 2024 10:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:23:04.115808
• Title: IRCAN: Mitigating Knowledge Conflicts in LLM Generation via Identifying and Reweighting Context-Aware Neurons
• Title（参考訳）: IRCAN:文脈認識ニューロンの同定と重み付けによるLLM生成における知識衝突の軽減
• Authors: Dan Shi, Renren Jin, Tianhao Shen, Weilong Dong, Xinwei Wu, Deyi Xiong,
• Abstract要約: 大規模言語モデル(LLM)は、大量データで訓練された後、膨大な量の知識を符号化する。 近年の研究では、LLM生成における知識の矛盾が明らかにされており、古いパラメトリックな知識や誤ったパラメトリックな知識は、文脈で提供される新しい知識と矛盾している。 我々は、文脈的手がかりの処理に不可欠なニューロンを活かすための新しいフレームワークIRCANを提案する。
• 参考スコア（独自算出の注目度）: 35.932259793728
• License:
• Abstract: It is widely acknowledged that large language models (LLMs) encode a vast reservoir of knowledge after being trained on mass data. Recent studies disclose knowledge conflicts in LLM generation, wherein outdated or incorrect parametric knowledge (i.e., encoded knowledge) contradicts new knowledge provided in the context. To mitigate such knowledge conflicts, we propose a novel framework, IRCAN (Identifying and Reweighting Context-Aware Neurons) to capitalize on neurons that are crucial in processing contextual cues. Specifically, IRCAN first identifies neurons that significantly contribute to context processing, utilizing a context-aware attribution score derived from integrated gradients. Subsequently, the identified context-aware neurons are strengthened via reweighting. In doing so, we steer LLMs to generate context-sensitive outputs with respect to the new knowledge provided in the context. Extensive experiments conducted across a variety of models and tasks demonstrate that IRCAN not only achieves remarkable improvements in handling knowledge conflicts but also offers a scalable, plug-and-play solution that can be integrated seamlessly with existing models. Our codes are released at https://github.com/danshi777/IRCAN.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大量データで訓練された後、膨大な量の知識を符号化していると広く認識されている。 近年の研究では、LLM生成における知識の矛盾が明らかにされており、古いまたは誤ったパラメトリック知識(すなわち、符号化された知識)は、文脈で提供される新しい知識と矛盾している。 このような知識紛争を緩和するために,コンテキスト認識ニューロンを識別・再重み付けするIRCAN(Identifying and Reweighting Context-Aware Neurons)を提案する。 特に、IRCANは、統合勾配から導かれる文脈認識属性スコアを利用して、コンテキスト処理に大きく寄与するニューロンを最初に同定する。 その後、認識された文脈認識ニューロンは再重み付けにより強化される。 そこで我々は,LLMを用いて,文脈に付与された新たな知識に対して,文脈に敏感なアウトプットを生成する。 様々なモデルやタスクにまたがる大規模な実験により、IRCANは知識の衝突を扱う際に顕著な改善を達成できるだけでなく、既存のモデルとシームレスに統合できるスケーラブルでプラグアンドプレイのソリューションも提供することを示した。 私たちのコードはhttps://github.com/danshi777/IRCANで公開されています。

関連論文リスト

• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Neurosymbolic AI approach to Attribution in Large Language Models [5.3454230926797734]
  ニューロシンボリックAI(NesyAI)は、ニューラルネットワークの強みと構造化されたシンボリック推論を組み合わせる。 本稿では、NesyAIフレームワークが既存の属性モデルをどのように拡張し、より信頼性が高く、解釈可能で、適応可能なシステムを提供するかを検討する。
  論文  参考訳（メタデータ） (2024-09-30T02:20:36Z)
• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Knowledge Infused Decoding [46.09844215234235]
  Knowledge Infused Decoding (KID)は、生成言語モデル(LM)のための新しい復号アルゴリズムである。 KIDはLMデコーディングの各ステップに外部知識を動的に注入する。 人間の評価は、入力コンテキストに対してより関連性があり、現実的な言語を生成するKIDの能力を確認する。
  論文  参考訳（メタデータ） (2022-04-06T20:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。