Fugu-MT 論文翻訳(概要): One Head Away from Language Confusion: Single Attention Heads Across Model Families

論文の概要: One Head Away from Language Confusion: Single Attention Heads Across Model Families

arxiv url: http://arxiv.org/abs/2610.25026v1
Date: Sun, 18 Oct 2026 05:21:12 GMT
ステータス: 情報取得中
システム内更新日: 2026-10-20 22:13:47.217353
Title: One Head Away from Language Confusion: Single Attention Heads Across Model Families
Title（参考訳）: 言語融合から1つの頭:モデルファミリにまたがる単一注意頭
Abstract要約: 我々は、7つのモデルシリーズにまたがる12のモデルチェックポイントにおいて、個々の注意を減らした。 10のモデルでは、1つのヘッドをゼロにすると、その層の他のヘッドをゼロにするよりも、期待される言語からかなり多く離れる。ヘッドの出力を他の言語の平均値に置き換えると、5つのモデルで収集された英語以外のモノリンガル LCB 応答の84～99%をその言語にリダイレクトする。
参考スコア（独自算出の注目度）: 1.7610848675593431
License:
Abstract: Large language models sometimes reply in an unexpected language, a failure known as language confusion. We ablate individual attention heads in 12 model checkpoints spanning seven model series, using FLORES-200 continuations in five languages and Language Confusion Benchmark (LCB) chat replies. In ten models, zeroing one head causes substantially more departures from the expected language than zeroing any other head in its layer; its LCB pass-rate drop persists, though reduced, under mean ablation. Seven heads move 8.0 to 51.5 percent of all FLORES continuations out of the prompt's language, versus at most 1.4 percent for other same-layer heads; the other three mainly affect explicitly requested languages. These seven heads matter less in base models given plain text. In two models, replacing the values a head reads at the requested-language name with another language's mean makes replies fail and shifts some into that language, unlike a random change of equal size. Replacing a head's output with another language's mean redirects 84 to 99 percent of scored non-English monolingual LCB replies into that language in five models. Yet the requested language's mean improves crosslingual replies beyond every control head only in the two Gemma models, whose baselines are low. Code and results are available in the public repository at https://github.com/christian-hoang-04/anonymous-release.
Abstract（参考訳）: 大規模な言語モデルは、しばしば予期せぬ言語で応答する。 5言語でのFLORES-200継続とLanguage Confusion Benchmark (LCB) チャット応答を用いて、7つのモデルシリーズにまたがる12のモデルチェックポイントで個々の注意を喚起する。 10のモデルでは、1つのヘッドをゼロにすると、その層の他のヘッドをゼロにするよりも、期待言語からかなり多くの離脱が起こる。 7つのヘッドはプロンプトの言語からFLORESの継続の8.0から51.5パーセントを移動させる。これらの7つの頭は、平易なテキストが与えられたベースモデルでは重要ではない。 2つのモデルでは、ヘッドが要求された言語名で読み取った値を他の言語の平均値に置き換えると、応答が失敗し、同じサイズのランダムな変更とは異なり、その言語に移行する。頭の出力を他の言語の平均値に置き換えると、収集された英語以外の単言語 LCB 応答の84～99% が5つのモデルでその言語にリダイレクトされる。しかし、要求される言語の平均は、ベースラインが低い2つのGemmaモデルでのみ、すべてのコントロールヘッド以上の言語間応答を改善する。コードと結果は、https://github.com/christian-hoang-04/anonymous-releaseの公開リポジトリで公開されている。

関連論文リスト

Bridge Routing Heads: Where Multilingual Multi-hop Reasoning Lives in LLMs [0.7618051223061513]
ブリッジルーティングヘッド(BRH)を3段パイプラインを介して2つの大きな多言語LLMで同定する。結果として得られる言語固有のヘッドセットは、5つの言語でほぼ完全な相互排他性を示す。アクティベーションレベルの介入だけでは、言語を越えた推論失敗からの正しい回答を回復できます。
論文参考訳（メタデータ） (2026-10-07T09:28:25Z)
The Curse of Multilinguality in Lexical Normalization [0.0]
一般的なショートカットは、一度に複数の言語で単一のモデルをトレーニングすることである。そのようなモデルをトレーニングすべき言語はいくつあるのか? 言語が他でのみトレーニングされている場合、正確性が最も高いのです。
論文参考訳（メタデータ） (2026-08-27T22:48:02Z)
First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers [0.00270839927451854]
本稿では、それぞれの注意を個別にゼロにする因果的介入であるLanguage Identity Head Ablation(LIHA)を紹介する。我々は、7つの言語にまたがる2700のプロンプト言語対の並列データセット間で得られた言語スイッチ率を測定した。
論文参考訳（メタデータ） (2026-06-21T07:13:52Z)
Emergent Languages in Populations of Language Model Agents: From Token Efficiency to Oversight Evasion [3.3188327537888944]
私たちはモルトブックで創発的な言語を研究します。ルールベースのアプローチとゼロショット分類からなる2段階のアプローチを適用する。以上の結果から,DeepSeek-3.2では,新たな言語を提案する投稿が他のカテゴリよりも整合性が低いと判断されている。
論文参考訳（メタデータ） (2026-05-29T11:33:05Z)
SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
論文参考訳（メタデータ） (2025-01-07T10:29:43Z)
Baichuan 2: Open Large-scale Language Models [51.34140526283222]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文参考訳（メタデータ） (2023-09-19T04:13:22Z)
On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
論文参考訳（メタデータ） (2023-05-18T12:43:31Z)
IndicSUPERB: A Speech Processing Universal Performance Benchmark for Indian languages [16.121708272597154]
インド12言語における音声認識のためのIndicSUPERBベンチマークをリリースする。一般的に使用されているベースラインベンチマークとともに、さまざまな自己教師付きモデルをトレーニングし、評価する。言語固有の微調整モデルはほとんどのタスクのベースラインよりも正確であることを示す。
論文参考訳（メタデータ） (2022-08-24T20:14:52Z)
Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
論文参考訳（メタデータ） (2022-03-18T12:26:37Z)
XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。