論文の概要: IRCAN: Mitigating Knowledge Conflicts in LLM Generation via Identifying and Reweighting Context-Aware Neurons

• arxiv url: http://arxiv.org/abs/2406.18406v1
• Date: Wed, 26 Jun 2024 14:57:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 13:09:50.401005
• Title: IRCAN: Mitigating Knowledge Conflicts in LLM Generation via Identifying and Reweighting Context-Aware Neurons
• Title（参考訳）: IRCAN:文脈認識ニューロンの同定と重み付けによるLLM生成における知識衝突の軽減
• Authors: Dan Shi, Renren Jin, Tianhao Shen, Weilong Dong, Xinwei Wu, Deyi Xiong,
• Abstract要約: 近年の研究では、大規模言語モデル(LLM)生成における知識衝突が明らかにされている。 我々は、文脈的手がかりの処理に不可欠なニューロンを活かすための新しいフレームワークIRCANを提案する。 そこで我々は, LLM を利用してコンテキストに付与された新しい知識に対して, 文脈に敏感な出力を生成する。
• 参考スコア（独自算出の注目度）: 35.932259793728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is widely acknowledged that large language models (LLMs) encode a vast reservoir of knowledge after being trained on mass data. Recent studies disclose knowledge conflicts in LLM generation, wherein outdated or incorrect parametric knowledge (i.e., encoded knowledge) contradicts new knowledge provided in the context. To mitigate such knowledge conflicts, we propose a novel framework, IRCAN (Identifying and Reweighting Context-Aware Neurons) to capitalize on neurons that are crucial in processing contextual cues. Specifically, IRCAN first identifies neurons that significantly contribute to context processing, utilizing a context-aware attribution score derived from integrated gradients. Subsequently, the identified context-aware neurons are strengthened via reweighting. In doing so, we steer LLMs to generate context-sensitive outputs with respect to the new knowledge provided in the context. Extensive experiments conducted across a variety of models and tasks demonstrate that IRCAN not only achieves remarkable improvements in handling knowledge conflicts but also offers a scalable, plug-andplay solution that can be integrated seamlessly with existing models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、大量データで訓練された後、膨大な量の知識を符号化していると広く認識されている。 近年の研究では、LLM生成における知識の矛盾が明らかにされており、古いまたは誤ったパラメトリック知識(すなわち、符号化された知識)は、文脈で提供される新しい知識と矛盾している。 このような知識紛争を緩和するために,コンテキスト認識ニューロンを識別・再重み付けするIRCAN(Identifying and Reweighting Context-Aware Neurons)を提案する。 特に、IRCANは、統合勾配から導かれる文脈認識属性スコアを利用して、コンテキスト処理に大きく寄与するニューロンを最初に同定する。 その後、認識された文脈認識ニューロンは再重み付けにより強化される。 そこで我々は,LLMを用いて,文脈に付与された新たな知識に対して,文脈に敏感なアウトプットを生成する。 さまざまなモデルやタスクにまたがる大規模な実験により、IRCANは知識の衝突処理における顕著な改善を達成するだけでなく、既存のモデルとシームレスに統合可能なスケーラブルなプラグイン・アンド・プレイソリューションも提供することが示された。

関連論文リスト

• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges [11.228131492745842]
  大規模言語モデル(LLM)は、自然言語処理における新しい研究パラダイムを刺激している。 知識に基づく質問応答と推論の優れた能力にもかかわらず、欠陥や有害な知識を保持する可能性は、悪意のあるアプリケーションにリスクをもたらす。 機械学習の類似研究から派生した知識アンラーニングは、この問題に対処するための有望な道を示す。
  論文  参考訳（メタデータ） (2023-11-27T12:37:51Z)
• Large Language Models for Information Retrieval: A Survey [57.7992728506871]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• Knowledge Infused Decoding [46.09844215234235]
  Knowledge Infused Decoding (KID)は、生成言語モデル(LM)のための新しい復号アルゴリズムである。 KIDはLMデコーディングの各ステップに外部知識を動的に注入する。 人間の評価は、入力コンテキストに対してより関連性があり、現実的な言語を生成するKIDの能力を確認する。
  論文  参考訳（メタデータ） (2022-04-06T20:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。