論文の概要: Enhancing Multi-hop Reasoning through Knowledge Erasure in Large Language Model Editing

• arxiv url: http://arxiv.org/abs/2408.12456v1
• Date: Thu, 22 Aug 2024 14:53:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 13:22:23.181116
• Title: Enhancing Multi-hop Reasoning through Knowledge Erasure in Large Language Model Editing
• Title（参考訳）: 大規模言語モデル編集における知識消去によるマルチホップ推論の強化
• Authors: Mengqi Zhang, Bowen Fang, Qiang Liu, Pengjie Ren, Shu Wu, Zhumin Chen, Liang Wang,
• Abstract要約: 大規模言語モデル(LLM)は、内部知識の不正確さと時代遅れの情報による課題に直面している。 知識編集はこれらの問題を緩和するための重要なアプローチとして現れてきた。 大規模言語モデル編集(KELE)のための知識消去機構を組み込んだ新しい知識編集手法を提案する。
• 参考スコア（独自算出の注目度）: 38.590823330865845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) face challenges with internal knowledge inaccuracies and outdated information. Knowledge editing has emerged as a pivotal approach to mitigate these issues. Although current knowledge editing techniques exhibit promising performance in single-hop reasoning tasks, they show limitations when applied to multi-hop reasoning. Drawing on cognitive neuroscience and the operational mechanisms of LLMs, we hypothesize that the residual single-hop knowledge after editing causes edited models to revert to their original answers when processing multi-hop questions, thereby undermining their performance in multihop reasoning tasks. To validate this hypothesis, we conduct a series of experiments that empirically confirm our assumptions. Building on the validated hypothesis, we propose a novel knowledge editing method that incorporates a Knowledge Erasure mechanism for Large language model Editing (KELE). Specifically, we design an erasure function for residual knowledge and an injection function for new knowledge. Through joint optimization, we derive the optimal recall vector, which is subsequently utilized within a rank-one editing framework to update the parameters of targeted model layers. Extensive experiments on GPT-J and GPT-2 XL demonstrate that KELE substantially enhances the multi-hop reasoning capability of edited LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、内部知識の不正確さと時代遅れの情報による課題に直面している。 知識編集はこれらの問題を緩和するための重要なアプローチとして現れてきた。 現在の知識編集技術はシングルホップ推論タスクにおいて有望な性能を示すが、マルチホップ推論に適用した場合の限界を示す。 認知神経科学とLCMの操作機構に基づいて,編集後の残余シングルホップ知識が,複数ホップ質問処理時の元の回答に逆戻りし,マルチホップ推論タスクにおける性能を損なうという仮説を立てた。 この仮説を検証するために、我々は仮定を実証的に確認する一連の実験を行った。 検証された仮説に基づいて,大規模言語モデル編集(KELE)のための知識消去機構を組み込んだ新しい知識編集手法を提案する。 具体的には,残余知識に対する消去関数と,新しい知識に対する注入関数を設計する。 共同最適化により、最適リコールベクトルを導出し、その後、ランクワン編集フレームワーク内で、ターゲットとなるモデル層のパラメータを更新する。 GPT-JとGPT-2 XLの大規模な実験により、KELEは編集LDMのマルチホップ推論能力を大幅に向上することが示された。

関連論文リスト

• LLM-Based Multi-Hop Question Answering with Knowledge Graph Integration in Evolving Environments [35.3938477255058]
  本稿では,大規模言語モデル(GMeLLo)のためのグラフメモリベースの編集について述べる。 GMeLLoは、知識グラフの明示的な知識表現と、大規模言語モデルの言語的柔軟性を融合する。 以上の結果から,GMeLLoはマルチホップ質問応答ベンチマークであるMQuAKEにおいて,最先端の知識編集手法をはるかに上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-08-28T16:15:45Z)
• Time Sensitive Knowledge Editing through Efficient Finetuning [35.79991957163508]
  大きな言語モデル(LLM)は、様々なタスクにおいて印象的な能力を示し、多くのドメインに変革をもたらす。 LLMの知識を最新に保つことは、事前トレーニングが完了するまで、依然として課題である。 既存の位置と編集の知識編集(KE)手法には2つの制限がある。
  論文  参考訳（メタデータ） (2024-06-06T20:41:36Z)
• Retrieval-enhanced Knowledge Editing in Language Models for Multi-Hop Question Answering [47.199078631274745]
  大規模言語モデル(LLM)は質問応答タスクの習熟度を示しているが、しばしばリアルタイム知識の統合に苦慮している。 マルチホップ質問応答のためのRetrieval-Augmented Model Editing (RAE) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-28T17:47:19Z)
• Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
  本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。 本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。 実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
  論文  参考訳（メタデータ） (2024-03-10T16:57:10Z)
• On the Robustness of Editing Large Language Models [57.477943944826904]
  大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。 この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-02-08T17:06:45Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• PokeMQA: Programmable knowledge editing for Multi-hop Question Answering [46.80110170981976]
  マルチホップ質問応答(MQA)は、マシンの理解と推論能力を評価する上で難しいタスクの1つである。 マルチホップ質問回答(MQA)のためのフレームワーク、Programmable Knowledge Editorを提案する。 具体的には、LLMの動作を外部のコンフリクト信号に応じて変調する訓練可能なスコープ検出器と相互作用しながら、知識強化されたマルチホップ質問を分解するよう促す。
  論文  参考訳（メタデータ） (2023-12-23T08:32:13Z)
• MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions [75.21713251369225]
  編集されたモデルが正しい解答を行うかどうかを評価するマルチホップ質問を含むベンチマークMQuAKEを提案する。 本稿では,メモリベースのアプローチであるMeLLoを提案する。これは,編集された事実に整合した回答を生成するために,言語モデルを反復的に促しながら,すべての編集された事実を外部に保存する。
  論文  参考訳（メタデータ） (2023-05-24T06:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。