論文の概要: Mitigating Negative Interference in Multilingual Sequential Knowledge Editing through Null-Space Constraints

• arxiv url: http://arxiv.org/abs/2506.10800v1
• Date: Thu, 12 Jun 2025 15:15:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.807674
• Title: Mitigating Negative Interference in Multilingual Sequential Knowledge Editing through Null-Space Constraints
• Title（参考訳）: Null-Space Constraintによる多言語シーケンス知識編集における負の干渉の軽減
• Authors: Wei Sun, Tingyu Qu, Mingxiao Li, Jesse Davis, Marie-Francine Moens,
• Abstract要約: LangEditは、言語固有の知識更新を正確に分離するために設計された、新しいnullスペース制約付きフレームワークである。 我々はLangEditがパラメータ干渉を効果的に軽減し、既存の最先端の編集方法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 32.5987256960537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficiently updating multilingual knowledge in large language models (LLMs), while preserving consistent factual representations across languages, remains a long-standing and unresolved challenge. While deploying separate editing systems for each language might seem viable, this approach incurs substantial costs due to the need to manage multiple models. A more efficient solution involves integrating knowledge updates across all languages into a unified model. However, performing sequential edits across languages often leads to destructive parameter interference, significantly degrading multilingual generalization and the accuracy of injected knowledge. To address this challenge, we propose LangEdit, a novel null-space constrained framework designed to precisely isolate language-specific knowledge updates. The core innovation of LangEdit lies in its ability to project parameter updates for each language onto the orthogonal complement of previous updated subspaces. This approach mathematically guarantees update independence while preserving multilingual generalization capabilities. We conduct a comprehensive evaluation across three model architectures, six languages, and four downstream tasks, demonstrating that LangEdit effectively mitigates parameter interference and outperforms existing state-of-the-art editing methods. Our results highlight its potential for enabling efficient and accurate multilingual knowledge updates in LLMs. The code is available at https://github.com/VRCMF/LangEdit.git.
• Abstract（参考訳）: 大規模言語モデル(LLM)における多言語知識の効率的な更新は、言語間で一貫した事実表現を保ちながら、長きにわたり未解決の課題である。 各言語用に別々の編集システムをデプロイすることは可能と思われるが、このアプローチは複数のモデルを管理する必要があるため、かなりのコストがかかる。 より効率的なソリューションは、すべての言語にわたる知識更新を統一されたモデルに統合することである。 しかし、言語間の逐次的な編集は、しばしば破壊的なパラメータ干渉を引き起こし、多言語一般化と注入された知識の精度を著しく低下させる。 この課題に対処するために、言語固有の知識更新を正確に分離するために設計された、新しいnull空間制約付きフレームワークであるLangEditを提案する。 LangEditの中核的なイノベーションは、各言語のパラメータ更新を、以前の更新されたサブスペースの直交補完に投影する能力にある。 このアプローチは、多言語一般化能力を保ちながら、更新独立性を数学的に保証する。 我々は、3つのモデルアーキテクチャ、6つの言語、4つの下流タスクに対して包括的な評価を行い、LangEditがパラメータ干渉を効果的に軽減し、既存の最先端の編集方法より優れていることを示す。 LLMの効率的かつ正確な多言語知識更新を可能にする可能性を強調した。 コードはhttps://github.com/VRCMF/LangEdit.gitで公開されている。

関連論文リスト

• Edit Once, Update Everywhere: A Simple Framework for Cross-Lingual Knowledge Synchronization in LLMs [60.12222055772508]
  我々は、シンプルで実用的なSOTAレシピであるクロス言語知識民主主義編集(X-KDE)を提案する。 X-KDEは、支配的な言語から他の言語への知識の伝達を効果的に行うように設計されている。 Bi-ZsRE と MzsRE のベンチマーク実験により、X-KDE は言語間性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-02-20T15:32:31Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• MEMLA: Enhancing Multilingual Knowledge Editing with Neuron-Masked Low-Rank Adaptation [18.087144677674786]
  我々は多言語知識編集(MKE)に重点を置いており、複数の言語にまたがる更新の伝播が必要である。 12言語からなる新しいデータセットであるMKEB(Multilingual Knowledge Editing Benchmark)を紹介する。 また,ニューロンマスト型低ランク適応(MEMLA)による知識編集を促進する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T14:03:50Z)
• MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model Editing [10.81072864833299]
  本稿では,多言語パッチニューロンを訓練し,言語間知識を蓄積する簡易かつ効果的な方法を提案する。 既存のアプローチに容易に適応して、言語間編集機能を強化することができる。
  論文  参考訳（メタデータ） (2024-01-06T10:40:24Z)
• Cross-Lingual Knowledge Editing in Large Language Models [73.12622532088564]
  知識編集は、スクラッチから再学習することなく、大きな言語モデルを新しい知識に適応させることが示されている。 ソース言語編集が別のターゲット言語に与える影響は、いまだ不明である。 まず、ZsREを英語から中国語に翻訳することで、大規模な言語間合成データセットを収集する。
  論文  参考訳（メタデータ） (2023-09-16T11:07:52Z)
• Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
  既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。 本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。 本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
  論文  参考訳（メタデータ） (2022-05-25T11:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。