論文の概要: FTB Graph: Determining and Validating First-token Broadcasters and Language-Identity Head Circuits in Multilingual Language Models
- arxiv url: http://arxiv.org/abs/2609.30954v1
- Date: Fri, 25 Sep 2026 08:05:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.287216
- Title: FTB Graph: Determining and Validating First-token Broadcasters and Language-Identity Head Circuits in Multilingual Language Models
- Title（参考訳）: FTBグラフ:多言語言語モデルにおけるファースト・ツーケン・ブロードキャスターと言語同一性ヘッド回路の決定と検証
- Abstract要約: 6つのモデルアーキテクチャにまたがるエンドツーエンド構造回路解析を提案する。
我々はディープ・ツー・ディープ・ブロードキャスティング・ハブを観測するが、証拠はPythia-2.8BとBLOOM-560Mにとって最強である。
Pythia-1Bから2.8Bへのスケーリングは、同様に検証されたエッジ予算を維持しながらノードの参加を拡大する。
Qwen2.5-1.5Bベースと命令回路は、Layer 27ハブを含む84.7%のJaccard類似性を保っている。
- 参考スコア（独自算出の注目度）: 0.00270839927451854
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models operating in multilingual contexts must resolve target response languages early in generation, yet the causal circuitry governing first-token language identity decisions remains poorly mapped. We present an end-to-end structural circuit analysis across six model architectures spanning four families: GPT-2, BLOOM-560M, Pythia-1B/2.8B, and Qwen2.5-1.5B Base/Instruct. Using Edge Attribution Patching (EAP) with FP16 active clamping, followed by exact activation patching verification with a 2,000-candidate-edge search ceiling, we extract directed acyclic graphs driving first-token language broadcasting. Across the standalone models, we observe deep or mid-to-deep broadcasting hubs, though the evidence is strongest for Pythia-2.8B and BLOOM-560M because GPT-2 and Pythia-1B leave few out-of-graph heads for comparison, while both Qwen2.5-1.5B variants invert the necessity check. Scaling from Pythia-1B to 2.8B expands node participation while maintaining a similar verified edge budget, producing sparser topology. The Qwen2.5-1.5B base and instruct circuits retain 84.7% Jaccard similarity, including the Layer 27 hub, indicating that first-token routing is largely established during pretraining and preserved by instruction tuning. Finally, EAP scores correlate weakly with exact patching deltas across most models, showing that linear gradient approximations can diverge from causal interventions in FP16 and motivating exact-patching verification for reliable circuit discovery.
- Abstract（参考訳）: 多言語コンテキストで動作する大規模言語モデルは, 早期にターゲットとなる応答言語を解決しなければならないが, 先進的な言語識別決定を規定する因果回路はいまだ不十分である。
GPT-2, BLOOM-560M, Pythia-1B/2.8B, Qwen2.5-1.5B Base/Instructの4つのモデルアーキテクチャに対して, エンドツーエンドの構造回路解析を行った。
エッジ属性・パッチング (EAP) と FP16 能動クラッピングを併用し, 2,000候補エッジサーチ天井による正確なアクティベーションパッチ検証を行い, ファーストトーケン言語放送を駆動する非巡回グラフを抽出した。
GPT-2とPythia-1Bはグラフ外ヘッドがほとんど残っていないため、Pythia-2.8BとBLOOM-560Mでは証拠が最強であるが、Qwen2.5-1.5Bはどちらも必要チェックを反転している。
Pythia-1Bから2.8Bへのスケーリングは、同様に検証されたエッジ予算を維持しながらノードの参加を拡大し、スペーサートポロジーを生成する。
Qwen2.5-1.5Bベースと命令回路は84.7%のJaccard類似性を持ち、Layer 27ハブを含む。
最後に、EAPスコアは、ほとんどのモデルにおける正確なパッチデルタとの相関が弱く、線形勾配近似がFP16の因果的介入から分岐し、信頼性の高い回路発見のための正確なパッチ検証を動機付けることを示した。
関連論文リスト
- Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。
Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。
100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
論文 参考訳（メタデータ） (2026-09-11T00:17:22Z) - Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - Noesis: Bidirectional Graph-RAG with Adaptive Parallelism and Cross-Knowledge-Base Semantic Discovery [0.0]
Graph-RAGは、ドメイン固有のコーパスで大きな言語モデルを構築するための強力なパラダイムとして登場した。
既存のシステムは永続的な制約に直面している: (1) 静的な断片化、長い文書の断片化、横断的なセマンティック接続の喪失、(2) 取り込みパイプラインは適応的にスケールしない、(3) マルチドメインデプロイメントは、検索精度を希釈するモノリシックな知識ベースか、または手動のユーザルーティングを必要とする。
Noesis は,これらの制限に対処する疎結合な Graph-RAG アーキテクチャである。 (a) Graph-Feedback Context Resolver を用いた双方向グラフトラバース; (b) AIMD Con
論文 参考訳（メタデータ） (2026-08-16T20:23:35Z) - Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。
小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。
LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
論文 参考訳（メタデータ） (2026-06-24T03:42:44Z) - Automated IEP Generation from Traditional Chinese Parent-Teacher Interviews via Corpus-Grounded Feature Diffusion [8.10713889114366]
従来の中国の特殊教育NLPは、ドメインデータの不足、厳格なプライバシー規制、ローカル評価ベンチマークの欠如などにより、ほとんど探索されていない。
コーパスグラウンド機能拡散に着目した低リソース微調整パイプラインを提案する。
このシステムは、従来の中国の特殊教育NLPのギャップに対処し、スケーラブルでプライバシー保護されたローカル推論ソリューションを提供する。
論文 参考訳（メタデータ） (2026-06-08T15:13:45Z) - SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale [54.70985426016736]
本稿では,スキル間関係を型付き有向グラフとしてモデル化したSkillDAGを提案する。
各検索はベクトルマッチング、型付きエッジ隣人、競合信号を返す。
ALFWorldとSkillsBench with MiniMax-M2.7では、SkillDAGは67.1%の成功と27.3%の報酬を得た。
論文 参考訳（メタデータ） (2026-06-02T02:45:21Z) - A Modelling and Evaluation Framework for EuroCrops-Driven Sentinel-2 Crop Segmentation [78.66324246922831]
本研究では,Sentinel-2イメージとEuroCropsパーセルレベルのアノテーションからセマンティックセグメンテーション対応農業データセットを生成するパイプラインを提案する。
このデータセットには、ヨーロッパ5カ国から67,337のパッチが含まれており、10種類の作物と背景の分類を減らしている。
The four-level U-Net with Group Normalization were training using 10 Sentinel-2 spectrum bands and a Composite loss with class-weighted cross-entropy and Dice loss。
論文 参考訳（メタデータ） (2026-05-30T11:20:29Z) - Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models [0.0]
大規模言語モデルは、学習された埋め込みテーブルを通じて全ての入力をルーティングする。
我々はKronecker Embeddingsを紹介した。
入力側のトレーニング可能なパラメータの91～94%をフロンティアスケールで除去する。
論文 参考訳（メタデータ） (2026-05-28T06:53:18Z) - SymbolicLight V1: Spike-Gated Dual-Path Language Modeling with High Activation Sparsity and Sub-Billion-Scale Pre-Training Evidence [8.419155861590548]
SymbolicLight V1はスパイクゲートのデュアルパス言語モデルである。
バイナリのLeaky Integrate-and-Fireスパイクダイナミクスと連続的な残留ストリームを組み合わせたものだ。
PPL 8.88-8.93は4つの独立した実行で1要素あたりのアクティベーション間隔が89%である。
論文 参考訳（メタデータ） (2026-05-20T16:00:20Z) - How Small Can 6G Reason? Scaling Tiny Language Models for AI-Native Networks [3.099103925863002]
AIネイティブな6Gシステムにおけるネットワークレベルの意味推論のためのコンパクト言語モデルのスケーリング挙動と展開効率について検討する。
我々は,Llama-3.2-1B,Granite-1B,Qwen2.5-3Bなどの中規模アーキテクチャを含む135M(SmolLM2-135M)から7Bパラメータ(Qwen2.5-7B)までのモデルを評価する。
論文 参考訳（メタデータ） (2026-03-02T18:19:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。