論文の概要: MEMLA: Enhancing Multilingual Knowledge Editing with Neuron-Masked Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2406.11566v1
• Date: Mon, 17 Jun 2024 14:03:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 14:32:20.238593
• Title: MEMLA: Enhancing Multilingual Knowledge Editing with Neuron-Masked Low-Rank Adaptation
• Title（参考訳）: MEMLA:ニューロンを用いた低ランク適応による多言語知識編集の強化
• Authors: Jiakuan Xie, Pengfei Cao, Yuheng Chen, Yubo Chen, Kang Liu, Jun Zhao,
• Abstract要約: 我々は多言語知識編集(MKE)に重点を置いており、複数の言語にまたがる更新の伝播が必要である。 12言語からなる新しいデータセットであるMKEB(Multilingual Knowledge Editing Benchmark)を紹介する。 また,ニューロンマスト型低ランク適応(MEMLA)による知識編集を促進する手法を提案する。
• 参考スコア（独自算出の注目度）: 18.087144677674786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to adjust the knowledge within large language models (LLMs) to prevent their responses from becoming obsolete or inaccurate. However, existing works on knowledge editing are primarily conducted in a single language, which is inadequate for multilingual language models. In this paper, we focus on multilingual knowledge editing (MKE), which requires propagating updates across multiple languages. This necessity poses a significant challenge for the task. Furthermore, the limited availability of a comprehensive dataset for MKE exacerbates this challenge, hindering progress in this area. Hence, we introduce the Multilingual Knowledge Editing Benchmark (MKEB), a novel dataset comprising 12 languages and providing a complete evaluation framework. Additionally, we propose a method that enhances Multilingual knowledge Editing with neuron-Masked Low-Rank Adaptation (MEMLA). Specifically, we identify two categories of knowledge neurons to improve editing precision. Moreover, we perform LoRA-based editing with neuron masks to efficiently modify parameters and facilitate the propagation of updates across multiple languages. Experiments demonstrate that our method outperforms existing baselines and significantly enhances the multi-hop reasoning capability of the edited model, with minimal impact on its downstream task performance. The dataset and code will be made publicly available.
• Abstract（参考訳）: 知識編集は、大きな言語モデル(LLM)内の知識を調整することを目的としており、その応答が陳腐化したり不正確なものになるのを防ぐ。 しかし、知識編集に関する既存の研究は主に単一の言語で行われており、多言語言語モデルには不十分である。 本稿では,複数の言語にまたがる更新の伝達を必要とする多言語知識編集(MKE)に焦点を当てる。 この必要性は、そのタスクに重大な課題をもたらす。 さらに、MKEのための包括的なデータセットの可用性が制限されることで、この課題が悪化し、この分野の進歩を妨げている。 したがって、12言語からなる新しいデータセットであるMKEB(Multilingual Knowledge Editing Benchmark)を導入し、完全な評価フレームワークを提供する。 さらに,ニューロンマスト型低ランク適応(MEMLA)を用いた多言語知識編集手法を提案する。 具体的には、編集精度を向上させるために、知識ニューロンの2つのカテゴリを同定する。 さらに、LoRAベースのニューロンマスクによる編集を行い、パラメータを効率的に修正し、複数の言語にまたがる更新の伝播を容易にする。 実験により,提案手法は既存のベースラインよりも優れ,編集モデルのマルチホップ推論能力を大幅に向上させ,下流タスク性能に最小限の影響を与えることが示された。 データセットとコードは公開されます。

関連論文リスト

• Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
  言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。 具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。 次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
  論文  参考訳（メタデータ） (2024-07-14T17:18:16Z)
• Multilingual Knowledge Editing with Language-Agnostic Factual Neurons [98.73585104789217]
  大規模言語モデル(LLM)が多言語事実知識をどのように表すかを検討する。 異なる言語における同じ事実知識は一般的に、言語に依存しない事実ニューロンと呼ばれる共有ニューロンの集合を活性化する。 そこで本研究では,言語非依存のFactual Neurons (LAFN) を探索・修正し,多言語知識を同時に編集する新しいMKE法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:06:56Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model Editing [10.81072864833299]
  本稿では,多言語パッチニューロンを訓練し,言語間知識を蓄積する簡易かつ効果的な方法を提案する。 既存のアプローチに容易に適応して、言語間編集機能を強化することができる。
  論文  参考訳（メタデータ） (2024-01-06T10:40:24Z)
• Retrieval-augmented Multilingual Knowledge Editing [81.6690436581947]
  LLM(Large Language Models)で表される知識は、しばしば誤りであり、時間とともに時代遅れになる可能性がある。 知識編集(KE)は、新しい知識を注入するための効果的で経済的な代替手段として発展してきた。 本稿では,LLMの新たな知識を更新するためにRetrieval-augmented Multilingual Knowledge Editor (ReMaKE)を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:08:58Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
  言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-10-24T21:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。