論文の概要: LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them?

• arxiv url: http://arxiv.org/abs/2601.20009v1
• Date: Tue, 27 Jan 2026 19:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.636393
• Title: LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them?
• Title（参考訳）: LinguaMap: LLMのどの層があなたの言語を話すのか、そしてどのようにしてテーマをチューニングするか?
• Authors: J. Ben Tamo, Daniel Carlander-Reuterfelt, Jonathan Rubin, Dezhi Hong, Mingxian Wang, Oleg Poliannikov,
• Abstract要約: 多言語転送ボトルネックと言語一貫性ボトルネックという,2つの重要な障害モードを特定し,特徴付ける。 我々はロジットレンズ解析を拡張し、言語確率層を層単位で追跡し、隠れ状態の言語間セマンティックな類似性を計算する。 これは、効率的な多言語適応のために言語制御の層局所化を利用する最初のアプローチである。
• 参考スコア（独自算出の注目度）: 3.809788214307542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite multilingual pretraining, large language models often struggle with non-English tasks, particularly in language control, the ability to respond in the intended language. We identify and characterize two key failure modes: the multilingual transfer bottleneck (correct language, incorrect task response) and the language consistency bottleneck (correct task response, wrong language). To systematically surface these issues, we design a four-scenario evaluation protocol spanning MMLU, MGSM, and XQuAD benchmarks. To probe these issues with interpretability, we extend logit lens analysis to track language probabilities layer by layer and compute cross-lingual semantic similarity of hidden states. The results reveal a three-phase internal structure: early layers align inputs into a shared semantic space, middle layers perform task reasoning, and late layers drive language-specific generation. Guided by these insights, we introduce selective fine-tuning of only the final layers responsible for language control. On Qwen-3-32B and Bloom-7.1B, this method achieves over 98 percent language consistency across six languages while fine-tuning only 3-5 percent of parameters, without sacrificing task accuracy. Importantly, this result is nearly identical to that of full-scope fine-tuning (for example, above 98 percent language consistency for both methods across all prompt scenarios) but uses a fraction of the computational resources. To the best of our knowledge, this is the first approach to leverage layer-localization of language control for efficient multilingual adaptation.
• Abstract（参考訳）: 多言語事前訓練にもかかわらず、大きな言語モデルは英語以外のタスク、特に言語制御において、意図した言語で応答する能力に苦しむことが多い。 我々は、多言語転送ボトルネック(正しい言語、間違ったタスク応答)と言語一貫性ボトルネック(正しいタスク応答、間違った言語)の2つの重要な障害モードを特定し、特徴付けする。 これらの問題を体系的に解決するために、MMLU、MGSM、XQuADベンチマークにまたがる4つのシナリオ評価プロトコルを設計する。 解釈可能性を用いてこれらの問題を探索するために,ロジットレンズ解析を拡張して言語確率層を層単位で追跡し,隠れ状態の言語間セマンティックな類似性を計算する。 初期層は入力を共有セマンティック空間に整列させ、中層はタスク推論を行い、後期層は言語固有の生成を駆動する。 これらの知見に導かれて、言語制御に責任を負う最終層のみを選択的に微調整する。 Qwen-3-32BとBloom-7.1Bでは、6つの言語で98%以上の言語一貫性を実現し、タスク精度を犠牲にすることなくパラメータの35%を微調整する。 重要なことに、この結果はフルスコープの微調整(例えば、すべてのプロンプトシナリオにわたる両方のメソッドの98%以上の言語一貫性)とほぼ同じであるが、計算リソースのごく一部を使っている。 我々の知る限りでは、これは多言語適応のための言語制御の層局在化を利用する最初のアプローチである。

関連論文リスト

• Language steering in latent space to mitigate unintended code-switching [1.1330938617817454]
  大きな言語モデル(LLM)は意図しないコードスイッチングを示し、下流タスクの信頼性を低下させる。 並列翻訳におけるPCAによる言語方向を識別する軽量な推論時間法である潜在空間言語ステアリングを提案する。 提案手法は,計算オーバーヘッドの少ないセマンティクスを保ちながら,コードスイッチングを緩和する。
  論文  参考訳（メタデータ） (2025-10-11T19:49:38Z)
• PolyPrompt: Automating Knowledge Extraction from Multilingual Language Models with Dynamic Prompt Generation [0.0]
  大規模言語モデル(LLM)の多言語機能を強化するための新しいパラメータ効率フレームワークであるPolyPromptを紹介する。 提案手法では,各言語に対するトリガトークンの集合を勾配に基づく探索により学習し,入力クエリの言語を識別し,推論中にプロンプトにプリコンパイルされた対応するトリガトークンを選択する。 我々は20億のパラメータモデルで実験を行い、15の類型的および資源的多様言語にわたる世界MMLUベンチマークで評価を行い、ナイーブおよびトランスレーショナル・ピペリンベースラインと比較して3.7%-19.9%の精度向上を示した。
  論文  参考訳（メタデータ） (2025-02-27T04:41:22Z)
• CoCo-CoLa: Evaluating and Improving Language Adherence in Multilingual LLMs [1.2057938662974816]
  大規模言語モデル(LLM)は、限られた並列データで訓練されているにもかかわらず、言語間能力を開発する。 多言語LLMにおける言語適応性を評価するための新しい指標であるCoCo-CoLaを紹介する。
  論文  参考訳（メタデータ） (2025-02-18T03:03:53Z)
• SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
  本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。 実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
  論文  参考訳（メタデータ） (2025-01-07T10:29:43Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。