論文の概要: Evaluating Cross-Lingual Unlearning in Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2601.06675v1
• Date: Sat, 10 Jan 2026 20:27:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.934611
• Title: Evaluating Cross-Lingual Unlearning in Multilingual Language Models
• Title（参考訳）: 多言語言語モデルにおける言語間非学習の評価
• Authors: Tyler Lizzo, Larry Heck,
• Abstract要約: 部分空間射影は最小の劣化を伴って強い言語間忘れを実現する。 重み空間の幾何に依拠し、将来の未学習システムに対するサブスペースベースのアプローチを動機付けていることを示す。
• 参考スコア（独自算出の注目度）: 7.530890774798437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the first comprehensive evaluation of cross-lingual unlearning in multilingual LLMs. Using translated TOFU benchmarks in seven language/script variants, we test major unlearning algorithms and show that most fail to remove facts outside the training language, even when utility remains high. However, subspace-projection consistently outperforms the other methods, achieving strong cross-lingual forgetting with minimal degradation. Analysis of learned task subspaces reveals a shared interlingua structure: removing this shared subspace harms all languages, while removing language-specific components selectively affects one. These results demonstrate that multilingual forgetting depends on geometry in weight space, motivating subspace-based approaches for future unlearning systems.
• Abstract（参考訳）: 本報告では,多言語LLMにおける言語間非学習の包括的評価について述べる。 翻訳されたTOFUベンチマークを7つの言語/スクリプトの変種で使用し、主要な未学習アルゴリズムをテストする。 しかし、部分空間射影は他の方法よりも一貫して優れており、最小限の劣化を伴って言語間の強い忘れを達成している。 この共有サブスペースの削除はすべての言語を害し、言語固有のコンポーネントの削除は1つに選択的に影響を及ぼす。 これらの結果は,重み空間の幾何に依拠し,将来的な未学習システムへのサブスペースベースのアプローチを動機付けていることを示す。

関連論文リスト

• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
  ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。 多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。 本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-01-11T09:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。