論文の概要: Shared Path: Unraveling Memorization in Multilingual LLMs through Language Similarities

• arxiv url: http://arxiv.org/abs/2505.15722v1
• Date: Wed, 21 May 2025 16:30:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.778073
• Title: Shared Path: Unraveling Memorization in Multilingual LLMs through Language Similarities
• Title（参考訳）: 共有パス:言語類似性による多言語LLMにおける記憶の解放
• Authors: Xiaoyu Luo, Yiyi Chen, Johannes Bjerva, Qiongxiu Li,
• Abstract要約: 多言語大言語モデル(MLLM)における覚書の総合的研究について紹介する。 様々なモデルスケール、アーキテクチャ、記憶定義のモデルを用いて95の言語を分析します。
• 参考スコア（独自算出の注目度）: 4.5689379467873925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the first comprehensive study of Memorization in Multilingual Large Language Models (MLLMs), analyzing 95 languages using models across diverse model scales, architectures, and memorization definitions. As MLLMs are increasingly deployed, understanding their memorization behavior has become critical. Yet prior work has focused primarily on monolingual models, leaving multilingual memorization underexplored, despite the inherently long-tailed nature of training corpora. We find that the prevailing assumption, that memorization is highly correlated with training data availability, fails to fully explain memorization patterns in MLLMs. We hypothesize that treating languages in isolation - ignoring their similarities - obscures the true patterns of memorization. To address this, we propose a novel graph-based correlation metric that incorporates language similarity to analyze cross-lingual memorization. Our analysis reveals that among similar languages, those with fewer training tokens tend to exhibit higher memorization, a trend that only emerges when cross-lingual relationships are explicitly modeled. These findings underscore the importance of a language-aware perspective in evaluating and mitigating memorization vulnerabilities in MLLMs. This also constitutes empirical evidence that language similarity both explains Memorization in MLLMs and underpins Cross-lingual Transferability, with broad implications for multilingual NLP.
• Abstract（参考訳）: 本稿では,多言語大言語モデル(MLLM)における覚書化に関する最初の包括的研究を行い,様々なモデルスケール,アーキテクチャ,覚書定義のモデルを用いて95言語を解析する。 MLLMがますますデプロイされるにつれて、記憶の振る舞いを理解することが重要になっている。 しかし、以前の研究は主に単言語モデルに焦点を合わせており、訓練コーパスの本質的に長い尾を持つ性質にもかかわらず、多言語記憶の探索は過小評価されている。 メモリ化がトレーニングデータの可用性と強く相関しているという仮定は,MLLMのメモリ化パターンを完全に説明できないことが判明した。 私たちは、言語を独立して扱うことは、それらの類似性を無視して、記憶の真のパターンを曖昧にする、という仮説を立てています。 そこで本稿では,言語類似性を取り入れた新しいグラフベースの相関尺度を提案する。 分析の結果,学習トークンが少ない言語では,言語間関係が明示的にモデル化された場合にのみ出現する傾向がみられた。 これらの知見は,MLLMにおける暗記脆弱性の評価と緩和における言語認識の視点の重要性を浮き彫りにした。 これはまた、言語類似性の両方がMLLMの記憶を記述し、多言語NLPに幅広い意味を持つ言語間移動可能性の基盤となっているという経験的証拠を構成する。

関連論文リスト

• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• Randomly Sampled Language Reasoning Problems Reveal Limits of LLMs [8.146860674148044]
  我々は,データセットリコールのリスクを回避しつつ,モデルの言語理解能力の測定を試みる。 決定論的有限オートマトン(DFA)により認識される言語タスクの多種族をパラメータ化する。 3 状態 DFA の驚くほど単純な設定であっても、LLM は言語認識と合成の両タスクにおいてパラメータ化されていない ngram モデルより劣ることがわかった。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。