論文の概要: First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers
- arxiv url: http://arxiv.org/abs/2606.22361v1
- Date: Sun, 21 Jun 2026 07:13:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 18:40:51.334886
- Title: First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers
- Title（参考訳）: ファースト・ツーケン・ブロードキャスター:変圧器における言語アイデンティティと分散ロバストネスの機械的起源
- Authors: Arjun Pillai, Christian Hoang, Anjelo Jann Laroza,
- Abstract要約: 本稿では、それぞれの注意を個別にゼロにする因果的介入であるLanguage Identity Head Ablation(LIHA)を紹介する。
我々は、7つの言語にまたがる2700のプロンプト言語対の並列データセット間で得られた言語スイッチ率を測定した。
- 参考スコア（独自算出の注目度）: 0.00270839927451854
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Why do multilingual language models sometimes generate in the wrong language, and why is this so hard to fix? We introduce Language Identity Head Ablation (LIHA), a causal intervention that zeros each attention head individually and measures the resulting language switch rate across a parallel dataset of 2,700 prompt-language pairs spanning seven languages. Applied to GPT-2, LIHA identifies a small set of first-token broadcaster heads - led by L6H1 (switch rate 0.32, 3.23 $σ$ above the population mean) - that attend persistently to the first prompt token, propagating its language signal throughout generation. Compensatory redistribution when heads are ablated is statistically significant (p < $10^{-5}$) and follows a directional, hierarchical pattern: compensation always recruits heads in layers above the ablated head, suggesting a feedforward cascade rather than global diffusion. To probe how training regime shapes these circuits, we apply LIHA to a controlled pair - Qwen2.5-1.5B-Base and Qwen2.5-1.5B-Instruct - identical in architecture and size, differing only in training. The base model is nearly flat (max SR=0.016, 200/336 heads at SR=0.0); the instruct model concentrates causal influence sharply at layer 0, led by L0H5 (SR=0.224, 8.93 $σ$ above mean), with all other layers near zero. This controlled comparison provides direct causal evidence that instruction tuning reorganizes language identity circuits toward early-layer localization. Extended experiments with Chinese and Russian confirm that first-token broadcasting is script-specific in GPT-2, with non-Latin languages handled at layer 0 - the same locus as the instruction-tuned model. Code and data will be released upon publication.
- Abstract（参考訳）: なぜ多言語モデルが間違った言語で生成されるのか、なぜこのような修正が難しいのか?
それぞれの注意を個別にゼロにする因果的介入であるLanguage Identity Head Ablation (LIHA)を導入し、7つの言語にまたがる2700のプロンプト言語対の並列データセットにおける言語スイッチ率を測定した。
GPT-2に適用されたLIHAは、L6H1(スウィッチレート0.32, 3.23$σ$)によって導かれ、第1のプロンプトトークンに永続的に参加し、世代を通して言語シグナルを伝播する小さなファーストツーケンブロードキャスターヘッドを識別する。
頭が切断されたときの補償的再分配は統計的に有意であり(p < 10^{-5}$)、方向的、階層的なパターンに従っている。
LIHAを制御されたペア Qwen2.5-1.5B-Base と Qwen2.5-1.5B-Instruct に適用する。
ベースモデルは、ほぼ平ら(最大 SR=0.016, 200/336 の SR=0.0)で、命令モデルは、L0H5 (SR=0.224, 8.93 $σ$) によって導かれる0層に因果的影響を鋭く集中させ、他のすべての層はゼロに近い。
この制御された比較は、命令チューニングが早期階層のローカライゼーションに向けて言語アイデンティティ回路を再編成する直接因果的証拠を提供する。
中国語とロシア語による拡張実験により、第1トーケン放送は GPT-2 でスクリプト固有であり、非ラテン語言語は 0 層で処理され、命令調整されたモデルと同じ軌跡であることを確認した。
コードとデータは公開時に公開される。
関連論文リスト
- DEPART: DEcomposing PARiTy across Multilingual LLMs [11.757758630156589]
大きな言語モデル リーダーボードは言語ごとの正確さを報告しますが、なぜ格差が生じるのかを説明することはめったにありません。
本稿では,多言語のパフォーマンス分散を解釈可能なコンポーネントに分解する2段階のベイズ階層フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-27T08:45:48Z) - Language-Conditioned Visual Grounding with CLIP Multilingual [0.0]
言語間の相違は、視覚エンコーダ、テキストブランチ、またはそれらの相互作用から生じる可能性がある。
この曖昧さを高密度多言語CLIPプローブを用いて解決し、視覚エンコーダを13言語で同一に保持する。
論文 参考訳（メタデータ） (2026-05-09T17:06:16Z) - XplaiNLP at CheckThat! 2025: Multilingual Subjectivity Detection with Finetuned Transformers and Prompt-Based Inference with Large Language Models [2.749729059235755]
このノートには、XplaiがCheckThat!に提出されたことを報告しています。
単言語および機械翻訳によるトレーニングデータに基づいて,変換器エンコーダの教師付き微調整,EuroBERT,XLM-RoBERTa,ジャーマン-BERTの2つの手法を評価する。
ドイツ語の場合、タイポロジーに関連のある言語から翻訳されたトレーニングデータに基づいて微調整されたドイツ語-BERTモデルでは、ベースライン上での競争性能が向上する。
論文 参考訳（メタデータ） (2025-09-15T16:53:41Z) - Information Locality as an Inductive Bias for Neural Language Models [52.92279412466086]
本稿では,Transformer と LSTM LM の言語学習において,$m$local entropy は困難であることを示す。
これらの結果は、ニューラルネットワークが言語の統計構造に非常に敏感であることを示唆している。
論文 参考訳（メタデータ） (2025-06-05T15:21:05Z) - Bilingual Dual-Head Deep Model for Parkinson's Disease Detection from Speech [8.852211803870016]
本研究は, 音声信号からのパーキンソン病(PD)検出問題にバイリンガル設定で対処することを目的として, タイプベースバイナリ分類のためのアドホックなデュアルヘッドディープニューラルアーキテクチャを提案する。
片頭はダイアドコキネティックなパターンに特化しており、もう片頭は連続した発声音声に存在する自然な音声パターンを検索する。
論文 参考訳（メタデータ） (2025-03-13T12:23:11Z) - Shapley Head Pruning: Identifying and Removing Interference in
Multilingual Transformers [54.4919139401528]
言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。
固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
論文 参考訳（メタデータ） (2022-10-11T18:11:37Z) - Bridging the Data Gap between Training and Inference for Unsupervised
Neural Machine Translation [49.916963624249355]
UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。
トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。
本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-16T04:50:27Z) - Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。
私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
論文 参考訳（メタデータ） (2020-11-02T10:57:53Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z) - Rnn-transducer with language bias for end-to-end Mandarin-English
code-switching speech recognition [58.105818353866354]
本稿では,言語バイアスを考慮したリカレントニューラルネットワークトランスデューサ(RNN-T)モデルを提案する。
我々は、CSの点を予測するためにモデルにバイアスを与えるために、言語アイデンティティを使用する。
これにより、言語識別情報を転写から直接学習するモデルが促進され、追加のLIDモデルが不要になる。
論文 参考訳（メタデータ） (2020-02-19T12:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。