論文の概要: Bridge Routing Heads: Where Multilingual Multi-hop Reasoning Lives in LLMs

• arxiv url: http://arxiv.org/abs/2610.09733v1
• Date: Wed, 07 Oct 2026 09:28:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.831104
• Title: Bridge Routing Heads: Where Multilingual Multi-hop Reasoning Lives in LLMs
• Title（参考訳）: LLMでマルチリンガルなマルチホップ推論ができるブリッジ
• Abstract要約: ブリッジルーティングヘッド(BRH)を3段パイプラインを介して2つの大きな多言語LLMで同定する。 結果として得られる言語固有のヘッドセットは、5つの言語でほぼ完全な相互排他性を示す。 アクティベーションレベルの介入だけでは、言語を越えた推論失敗からの正しい回答を回復できます。
• 参考スコア（独自算出の注目度）: 0.7618051223061513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual LLMs answer the same multi-hop reasoning question across languages, but we lack a mechanistic account of whether they share an internal circuit. We identify Bridge Routing Heads (BRH) in two large multilingual LLMs through a three-stage pipeline. The resulting language-specific head sets exhibit near-complete mutual exclusivity across the five languages, with a mean Jaccard similarity of only 0.017 for Llama 3.1 70B and 0.057 for Qwen 2.5 72B, revealing language-idiosyncratic circuits. Ablating general BRH increases two-hop Negative Log-Likelihood (NLL) by 39-89x the random-head baseline, providing direct causal evidence of their role. Amplifying these heads in a failing target-language pass rescues up to 51.7% of cross-lingual failures, with no training. The two models share this dual-circuit pattern but allocate heads differently: Llama concentrates chaining in a large general pool, while Qwen leans on larger language-specific pools. Together these results show that activation-level intervention alone can recover correct answers from cross-lingual reasoning failures.
• Abstract（参考訳）: 多言語LLMは、言語間で同じマルチホップ推論問題に答えるが、内部回路を共有するかどうかの力学的な説明は得られない。 ブリッジルーティングヘッド(BRH)を3段パイプラインを介して2つの大きな多言語LLMで同定する。 結果として得られた言語固有のヘッドセットは、5つの言語でほぼ完全な相互排他性を示し、平均的ジャカード類似度はLlama 3.1 70Bが0.017、Qwen 2.5 72Bが0.057、言語同期回路が明らかにされている。 Ablating general BRH increase two-hop Negative Log-Likelihood (NLL) by 39-89x the random-head baseline, provide direct causal evidence of their role。 失敗に終わった目標言語パスでこれらの頭を増幅すると、訓練なしで51.7%の言語横断障害が救済される。 2つのモデルは、この二重回路パターンを共有するが、頭部を異なる方法で割り当てる: Llamaは大きな汎用プールで連鎖に集中し、Qwenはより大きな言語固有のプールに傾いている。 これらの結果から, アクティベーションレベルの介入だけで, 言語間推論の失敗から正解を回復できることが示唆された。

関連論文リスト

• Beyond Cross-Lingual Transfer: Benchmarking Propagation Boundaries in Multilingual LLM Unlearning [80.05116806217397]
  大言語モデル(LLM)のアンラーニングは、汎用性を保ちながら、目標とする知識を抑えることを目的としている。 CLLPU(Cross-Lingual and Language-Bound Protocol for LLM Unlearning)は,この問題を2つの設定で定式化する多言語ベンチマークである。 目標とする知識がすべての言語で抑制されるべき共通目標の忘れ、言語条件の忘れ、抑圧は指定された言語に限定されるべきである。
  論文  参考訳（メタデータ） (2026-09-05T08:26:15Z)
• First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers [0.00270839927451854]
  本稿では、それぞれの注意を個別にゼロにする因果的介入であるLanguage Identity Head Ablation(LIHA)を紹介する。 我々は、7つの言語にまたがる2700のプロンプト言語対の並列データセット間で得られた言語スイッチ率を測定した。
  論文  参考訳（メタデータ） (2026-06-21T07:13:52Z)
• Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models [14.815594636224747]
  中間表現から直接解の正しさを予測する軽量線形プローブを用いる。 学習されたレイヤの重みと複数の改善により、信頼性機能は言語全体の中間層に集中していることが明らかになった。 ゼロショットの言語間性能はソース言語と類似性に依存するが、プローブはリトレーニングなしで強力なベースラインを提供する。
  論文  参考訳（メタデータ） (2026-05-29T12:25:24Z)
• ReasonXL: Shifting LLM Reasoning Language Without Sacrificing Performance [44.67427662307542]
  ヨーロッパ5言語にまたがるクロスドメイン推論トレースの最初の大規模並列コーパスであるReasonXLを紹介する。 ReasonXL を用いて、所望のターゲット言語で LLM が完全に論理に適応できることを実証する。 適応の広範な表現解析を行い、モデル深度を横断する明確な機能分割を求める。
  論文  参考訳（メタデータ） (2026-04-14T07:10:46Z)
• Bridging Latent Reasoning and Target-Language Generation via Retrieval-Transition Heads [33.242977481016375]
  検索ヘッドは複数の言語で共有されることが多い。 Retrieval-Transitionヘッダは、特定のターゲット言語出力への遷移を管理する。 本研究は,対象言語へのマッピングに責任を負うアテンションヘッドを分離することにより,多言語LMの理解を深める。
  論文  参考訳（メタデータ） (2026-02-25T22:28:50Z)
• Code-Switching In-Context Learning for Cross-Lingual Transfer of Large Language Models [64.54005959758733]
  我々は,コードスイッチング・イン・コンテキスト・ラーニング(CSICL)を,推論中の翻訳障壁を克服するための原則的かつ堅牢なアプローチとして導入する。 4つのLLM、6つのデータセット、10の言語にわたる広範な実験を行い、知識集約型ドメインと推論指向ドメインの両方にまたがる。 その結果、CSICLはX-ICLベースラインを一貫して上回り、ターゲット言語と見当たらない言語の両方で3.1%pと1.9%pを達成した。
  論文  参考訳（メタデータ） (2025-10-07T08:35:42Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning [63.481446315733145]
  多言語大言語モデル(LLM)に対する言語間バックドア攻撃は未調査である。 本研究は, 教育指導データが有毒でない言語に対して, 教育指導データの有毒化がアウトプットに与える影響について検討した。 本手法は,mT5 や GPT-4o などのモデルにおいて,高い攻撃成功率を示し,12言語中7言語以上で90%以上を突破した。
  論文  参考訳（メタデータ） (2024-04-30T14:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。