Fugu-MT 論文翻訳(概要): Evaluating Cross-Lingual Unlearning in Multilingual Language Models

論文の概要: Evaluating Cross-Lingual Unlearning in Multilingual Language Models

arxiv url: http://arxiv.org/abs/2601.06675v1
Date: Sat, 10 Jan 2026 20:27:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-13 19:08:00.934611
Title: Evaluating Cross-Lingual Unlearning in Multilingual Language Models
Title（参考訳）: 多言語言語モデルにおける言語間非学習の評価
Authors: Tyler Lizzo, Larry Heck,
Abstract要約: 部分空間射影は最小の劣化を伴って強い言語間忘れを実現する。重み空間の幾何に依拠し、将来の未学習システムに対するサブスペースベースのアプローチを動機付けていることを示す。
参考スコア（独自算出の注目度）: 7.530890774798437
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present the first comprehensive evaluation of cross-lingual unlearning in multilingual LLMs. Using translated TOFU benchmarks in seven language/script variants, we test major unlearning algorithms and show that most fail to remove facts outside the training language, even when utility remains high. However, subspace-projection consistently outperforms the other methods, achieving strong cross-lingual forgetting with minimal degradation. Analysis of learned task subspaces reveals a shared interlingua structure: removing this shared subspace harms all languages, while removing language-specific components selectively affects one. These results demonstrate that multilingual forgetting depends on geometry in weight space, motivating subspace-based approaches for future unlearning systems.
Abstract（参考訳）: 本報告では,多言語LLMにおける言語間非学習の包括的評価について述べる。翻訳されたTOFUベンチマークを7つの言語/スクリプトの変種で使用し、主要な未学習アルゴリズムをテストする。しかし、部分空間射影は他の方法よりも一貫して優れており、最小限の劣化を伴って言語間の強い忘れを達成している。この共有サブスペースの削除はすべての言語を害し、言語固有のコンポーネントの削除は1つに選択的に影響を及ぼす。これらの結果は,重み空間の幾何に依拠し,将来的な未学習システムへのサブスペースベースのアプローチを動機付けていることを示す。

関連論文リスト

Layer-Targeted Multilingual Knowledge Erasure in Large Language Models [15.409568435026015]
多言語一般化を決定する鍵因子として介入深さを同定する。本稿では,CKA(Centered Kernel Alignment)とLRDS(Lingguistic Regions Development Score)を用いて,中間的言語に依存しないレイヤを識別するフレームワークMUTEを提案する。
論文参考訳（メタデータ） (2026-02-26T03:00:07Z)
When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
論文参考訳（メタデータ） (2026-01-30T11:23:01Z)
Group then Scale: Dynamic Mixture-of-Experts Multilingual Language Model [38.0723521889505]
18言語から128言語の実験結果から,本手法は言語間の負の移動を減らし,パラメータの少ない多言語性能を著しく向上させることが示された。このような専門家の言語グループ専門化は、新しい言語適応の恩恵を受け、学習した過去の多言語知識に対する推論を減らす。
論文参考訳（メタデータ） (2025-06-14T07:56:18Z)
High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。多言語 LLM は非一貫性な言語間アライメントを示す。
論文参考訳（メタデータ） (2025-03-14T10:39:27Z)
Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
論文参考訳（メタデータ） (2024-10-06T08:51:30Z)
Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
論文参考訳（メタデータ） (2024-06-23T15:15:17Z)
Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
論文参考訳（メタデータ） (2024-01-11T09:54:11Z)
Multilingual Entity and Relation Extraction from Unified to Language-specific Training [29.778332361215636]
エンティティと関係抽出タスクの既存のアプローチは、主に英語のコーパスに焦点を当て、他の言語を無視している。言語干渉を軽減するために,2段階の多言語学習手法と,Multilingual Entity and Relation extract framework (mERE) と呼ばれるジョイントモデルを提案する。本手法はモノリンガル法と多言語ベースライン法の両方に優れる。
論文参考訳（メタデータ） (2023-01-11T12:26:53Z)
AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文参考訳（メタデータ） (2021-04-17T20:23:45Z)
On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
論文参考訳（メタデータ） (2020-10-06T20:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。