論文の概要: Locate-then-edit for Multi-hop Factual Recall under Knowledge Editing
- arxiv url: http://arxiv.org/abs/2410.06331v1
- Date: Tue, 08 Oct 2024 20:12:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:37:55.777582
- Title: Locate-then-edit for Multi-hop Factual Recall under Knowledge Editing
- Title(参考訳): 知識編集によるマルチホップファクチュアルリコールのためのローカテ-テ-エジット
- Authors: Zhuoran Zhang, Yongxiang Li, Zijian Kan, Keyuan Cheng, Lijie Hu, Di Wang,
- Abstract要約: location-then-edit パラダイムは知識編集において大きな可能性を秘めている。
従来手法では,知識を新たに編集したマルチホップのファクトリコール作業に苦慮していた。
浅層層と深層層層の両方を編集する新しい位置編集手法 IFMET を提案する。
- 参考スコア(独自算出の注目度): 7.9525115640025055
- License:
- Abstract: The locate-then-edit paradigm has shown significant promise for knowledge editing (KE) in Large Language Models (LLMs). While previous methods perform well on single-hop fact recall tasks, they consistently struggle with multi-hop factual recall tasks involving newly edited knowledge. In this paper, leveraging tools in mechanistic interpretability, we first identify that in multi-hop tasks, LLMs tend to retrieve implicit subject knowledge from deeper MLP layers, unlike single-hop tasks, which rely on earlier layers. This distinction explains the poor performance of current methods in multi-hop queries, as they primarily focus on editing shallow layers, leaving deeper layers unchanged. To address this, we propose IFMET, a novel locate-then-edit KE approach designed to edit both shallow and deep MLP layers. IFMET employs multi-hop editing prompts and supplementary sets to locate and modify knowledge across different reasoning stages. Experimental results demonstrate that IFMET significantly improves performance on multi-hop factual recall tasks, effectively overcoming the limitations of previous locate-then-edit methods.
- Abstract(参考訳): 位置情報編集のパラダイムは、Large Language Models (LLMs)における知識編集(KE)に大きな可能性を示している。
従来の手法はシングルホップのファクトリコールタスクではうまく機能するが、新しく編集された知識を含むマルチホップのファクトリコールタスクには一貫して苦労する。
本稿では,マルチホップタスクにおいて,より深いMDP層から暗黙的な主観的知識を抽出する傾向があることを明らかにする。
この区別は、マルチホップクエリにおける現在のメソッドのパフォーマンスが低かったことを説明する。
そこで我々は,浅層層と深層層の両方を編集する新しい位置対応KE手法 IFMET を提案する。
IFMETは複数のホップ編集プロンプトと補足セットを使用して、異なる推論段階における知識の発見と修正を行っている。
実験結果から,IFMETは複数ホップのファクトリコールタスクの性能を著しく向上し,従来の位置対応手法の限界を克服できることが示された。
関連論文リスト
- Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。
具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。
次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
論文 参考訳(メタデータ) (2024-07-14T17:18:16Z) - How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
本研究では,「複雑度」の異なる知識を取り入れた知識編集手法の能力について検討する。
新たな知識の「複雑さ」と12シナリオの編集効率との間に有意な負の相関関係が認められた。
知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。
論文 参考訳(メタデータ) (2024-06-25T03:41:02Z) - MC-MKE: A Fine-Grained Multimodal Knowledge Editing Benchmark Emphasizing Modality Consistency [50.40318712497071]
MLLM(Multimodal large language model)は、非現実的または時代遅れの知識問題を引き起こす。
マルチモーダルな知識を視覚的およびテキスト的構成要素に分解する。
本稿では,マルチモーダル知識編集ベンチマークMC-MKEを提案する。
論文 参考訳(メタデータ) (2024-06-19T05:15:21Z) - Time Sensitive Knowledge Editing through Efficient Finetuning [35.79991957163508]
大きな言語モデル(LLM)は、様々なタスクにおいて印象的な能力を示し、多くのドメインに変革をもたらす。
LLMの知識を最新に保つことは、事前トレーニングが完了するまで、依然として課題である。
既存の位置と編集の知識編集(KE)手法には2つの制限がある。
論文 参考訳(メタデータ) (2024-06-06T20:41:36Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳(メタデータ) (2024-02-19T07:45:17Z) - PokeMQA: Programmable knowledge editing for Multi-hop Question Answering [46.80110170981976]
マルチホップ質問応答(MQA)は、マシンの理解と推論能力を評価する上で難しいタスクの1つである。
マルチホップ質問回答(MQA)のためのフレームワーク、Programmable Knowledge Editorを提案する。
具体的には、LLMの動作を外部のコンフリクト信号に応じて変調する訓練可能なスコープ検出器と相互作用しながら、知識強化されたマルチホップ質問を分解するよう促す。
論文 参考訳(メタデータ) (2023-12-23T08:32:13Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳(メタデータ) (2023-05-22T16:00:00Z) - Rethinking Label Smoothing on Multi-hop Question Answering [87.68071401870283]
MHQA (Multi-Hop Question Answering) は質問応答において重要な分野である。
本研究では,マルチホップ推論の性能を制限する主要な要因を解析する。
学習プロセスに不確実性を組み込んだ新しいラベル平滑化手法F1 Smoothingを提案する。
論文 参考訳(メタデータ) (2022-12-19T14:48:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。