論文の概要: Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey

• arxiv url: http://arxiv.org/abs/2605.13919v1
• Date: Wed, 13 May 2026 13:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.418151
• Title: Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey
• Title（参考訳）: 大規模言語モデルのための多言語知識編集のためのマージング手法:経験的オデュッセイ
• Authors: Kunil Lee, Ki-Young Shin, Jong-Hyeok Lee, Young-Joo Suh,
• Abstract要約: 本稿では,多言語知識編集におけるベクトルマージ手法の有効性について論じる。 我々は,MzsREベンチマークにおいて,2つの一般的なバックボーン大言語モデル,2つの基本知識編集方法,12の言語を,大規模なバッチ編集設定の下で統合した6つの変種を評価した。 性能は重量スケールとランク比の両方に敏感であり、より大きいデフォルトスケールと比較的低いランクはより良い結果をもたらすことがよくあります。
• 参考スコア（独自算出の注目度）: 3.1370504959896497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual knowledge editing (MKE) remains challenging because language-specific edits interfere with one another, even when locate-then-edit methods work well in monolingual settings. This paper focuses on three issues: the effectiveness of vector merging methods for MKE, the extent to which Task Singular Vectors for Merging (TSVM) can reduce multilingual interference, and the influence of the weight scaling factor and rank compression ratio on performance. We evaluate six merging variants with two popular backbone large language models, two base knowledge editing methods, and 12 languages on the MzsRE benchmark under a large-scale batch-editing setting. Our results show that vector summation with shared covariance is the most reliable overall strategy, whereas simple summation without shared covariance performs poorly. TSVM improves performance in some settings, but its ability to mitigate multilingual interference is limited. We also find that performance is sensitive to both weight scale and rank ratio, with larger-than-default scaling and relatively low rank often yielding better results. These findings clarify the practical strengths and limits of current vector merging methods for MKE and provide guidance for future multilingual knowledge editing research.
• Abstract（参考訳）: 多言語知識編集(MKE)は、言語固有の編集がモノリンガル設定でうまく機能している場合でも、互いに干渉するため、依然として困難である。 本稿では,MKE におけるベクトルマージ手法の有効性,TSVM (Task Singular Vectors for Merging) がマルチリンガル干渉を低減できる程度,および重みスケーリング係数とランク圧縮比が性能に与える影響について述べる。 我々は,MzsREベンチマークにおいて,2つの一般的なバックボーン大言語モデル,2つの基本知識編集方法,12の言語を,大規模なバッチ編集設定の下で統合した6つの変種を評価した。 その結果,共有共分散を伴うベクトル和が最も信頼性の高い全体戦略であるのに対して,共有共分散を持たない単純な和は不十分であることがわかった。 TSVMはいくつかの設定でパフォーマンスを改善するが、多言語干渉を軽減する能力は限られている。 また,重量スケールとランク比の両方に敏感であり,デフォールトスケールを大きくし,比較的低いランクでより優れた結果が得られることも確認できた。 これらの結果は,MKEにおけるベクトルマージ手法の実用的長所と限界を明らかにし,今後の多言語知識編集研究のためのガイダンスを提供する。

関連論文リスト

• Objective Soups: Multilingual Multi-Task Modeling for Speech Processing [69.52720282028385]
  マルチ言語・マルチタスク音声処理(MSP)のための単一モデルの訓練は,タスク間の目的の相反によって著しく妨げられる。 本稿では,多目的MSPの3つの定式化について検討し,これらをthabfobjective soup recipesと呼ぶ。 我々の研究は、階層型MOOが最先端のMSPモデルを構築する上で、より効率的でスケーラブルなアプローチであることを実証している。
  論文  参考訳（メタデータ） (2025-08-12T07:01:09Z)
• Group then Scale: Dynamic Mixture-of-Experts Multilingual Language Model [38.0723521889505]
  18言語から128言語の実験結果から,本手法は言語間の負の移動を減らし,パラメータの少ない多言語性能を著しく向上させることが示された。 このような専門家の言語グループ専門化は、新しい言語適応の恩恵を受け、学習した過去の多言語知識に対する推論を減らす。
  論文  参考訳（メタデータ） (2025-06-14T07:56:18Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• LLM-based Translation Inference with Iterative Bilingual Understanding [52.46978502902928]
  大規模言語モデル(LLM)の言語間機能に基づいた,新しい反復的バイリンガル理解翻訳法を提案する。 LLMの言語横断的能力により、ソース言語とターゲット言語を別々にコンテキスト理解することが可能になる。 提案したIBUTは、いくつかの強力な比較法より優れている。
  論文  参考訳（メタデータ） (2024-10-16T13:21:46Z)
• Efficient Compression of Multitask Multilingual Speech Models [0.0]
  DistilWhisperは、マルチタスクとマルチ言語機能の利点を維持しながら、これらの言語におけるASRのパフォーマンスギャップを埋めることができる。 提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。
  論文  参考訳（メタデータ） (2024-05-02T03:11:59Z)
• Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts [14.999359332108767]
  表現不足言語に対するASRの性能ギャップを埋めるため、DistilWhisperを提案する。 提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。 その結果,本手法は通常のファインチューニングやLoRAアダプタよりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T08:37:30Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。