論文の概要: When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures

• arxiv url: http://arxiv.org/abs/2606.02378v2
• Date: Tue, 09 Jun 2026 17:39:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:57.927181
• Title: When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures
• Title（参考訳）: 注意回路はいつ形成されるか : 3つの1B級建築における能力と注意-シンク創発の発達軌跡
• Authors: Yongzhong Xu,
• Abstract要約: 我々は,3つの1Bクラス言語モデルにおけるアテンションヘッド回路形成の発達軌跡を追跡する。 参加比(PR)スペクトル信号と全頭部能力特異的選択性画面を適用して,頭部の出現をトラッキングする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We track the developmental trajectory of attention-head circuit formation across three 1B-class language models spanning two architecture families (dense transformer, mixture-of-experts) and two pretraining corpora (The Pile, DCLM): Pythia 1B, OLMo 1B-0724-hf, and OLMoE 1B-7B-0924. At each of 10 log-spaced revisions per model -- 30 mechanistic-interpretability runs in total -- we apply a participation-ratio (PR) spectral signal and an all-head capability-specific selectivity screen to track induction, previous-token, and BOS-attractor heads as they emerge. Five findings. (F1) Layers 0 and 1 produce zero BOS-classified heads at every revision in every model: the L0/L1 zero-BOS floor is an architectural property, not a learned outcome. (F2) The whole-model BOS-attractor fraction follows three distinct emergence shapes -- a gradual ramp in Pythia 1B, a sharp phase transition in OLMo 1B (7% to 70% between adjacent checkpoints), and a gradual ramp in OLMoE 1B-7B. (F3) In DCLM models, induction-circuit formation precedes BOS-attractor formation by 10-20x in tokens; capability-circuit formation and attention-sink formation are two transitions, not one. (F4) The capability-specific screen converges to the final induction circuit within 0.3-2% of total training tokens -- circuit identification does not require the final model. (F5) For every final-checkpoint induction head sampled across all three models, per-head PR is elevated at or before the first revision at which that head crosses its capability-selectivity threshold. The results refine the induction-phase-transition framing: in 1B-class models trained on DCLM, the induction transition and the attention-sink transition are separated by an order of magnitude in tokens and have qualitatively different shapes.
• Abstract（参考訳）: 本研究は,Pythia 1B, OLMo 1B-0724-hf, OLMoE 1B-7B-0924の2つのアーキテクチャファミリ(Dense Transformer, Mix-of-experts)と事前学習コーパス(The Pile, DCLM)にまたがる3つの1Bクラス言語モデル(Dense Transformer, Mixed-of-experts)におけるアテンションヘッド回路形成の発達過程を追跡する。 モデル毎に10のログ空間リビジョン – 合計で30のメカニスティック・リフレクタビリティ – において、参加者比(PR)スペクトル信号と、すべてのヘッド能力固有の選択性スクリーンを適用して、インジェクション、事前トーケン、BOSトラクタヘッドの出現を追跡する。 5つの発見。 (F1) L0/L1ゼロBOSフロアはアーキテクチャ特性であり、学習結果ではない。 (F2) モデル全体のBOSトラクタ分画は、ピチア1Bの漸進ランプ、OLMo1Bの急激な位相遷移(隣接するチェックポイント間の7%から70%)、OLMoE1B-7Bの漸進ランプの3つの異なる形状に従っている。 (F3) DCLMモデルでは、誘導回路形成は10-20倍のトークンでBOS-アトラクタ形成に先行し、機能回路形成と注意回路形成は2つの遷移であり、1つではない。 (F4) 機能固有のスクリーンは、トレーニングトークン全体の0.3-2%の範囲で最終誘導回路に収束する。 (F5) 3つのモデルでサンプリングされた全ての最終チェックポイント誘導ヘッドに対して、ヘッドが能力選択しきい値を超えた最初のリビジョンでヘッド当たりPRが上昇する。 誘導相遷移フレーミングはDCLMで訓練された1Bクラスモデルにおいて, 誘導遷移と注目-シンク遷移はトークンの桁違いに分離され, 定性的に異なる形状を持つ。

関連論文リスト

• YOTOnet: Zero-Shot Cross-Domain Fault Diagnosis via Domain-Conditioned Mixture of Experts [14.559681703119054]
  YOTOnet(You Only Train Once)は、機械機器のクロスドメイン故障診断に特化した新しいアーキテクチャである。 YOTOnetは,(1)多スケールな拡張畳み込みとFFTベースの時間周波数融合を用いたドメイン非依存表現を抽出する物理対応不変特徴分散器,(2)学習ゲーティングによる特別なプロセッサへの入力を適応的にルーティングするドメイン定義スパースエキスパート(DC-MoE),(3)補助的な制御を備えたデュアルヘッド分類システム,の3つのコアコンポーネントから構成される。
  論文  参考訳（メタデータ） (2026-05-06T06:12:21Z)
• Multi-Frequency Local Plasticity for Visual Representation Learning [0.40048696135519796]
  本研究では,視覚認識におけるエンドツーエンドの勾配に基づく表現学習の欠如を補う構造的アーキテクチャバイアスについて検討する。 i) 固定多周波ガボルのF=7並列ストリームへの分解, (ii) ヘビアンとオジャの更新と反ヘビアンデコリレーションによるストリーム内競合学習, (iii) 現代のホプフィールド検索にインスパイアされた連想メモリモジュール。
  論文  参考訳（メタデータ） (2026-04-09T18:30:47Z)
• Deconstructing Pre-training: Knowledge Attribution Analysis in MoE and Dense Models [37.90956602792573]
  Mixture-of-Experts (MoE)アーキテクチャは、モデルキャパシティをトーケン毎の計算から分離する。 本稿では,MoEおよび高密度アーキテクチャにおける知識獲得ダイナミクスの時間分解比較について述べる。 10つの重要なMoEアテンションヘッドのマスキングは、密度モデルの50%に比べて、リレーショナルHIT@10を10%削減する。
  論文  参考訳（メタデータ） (2026-01-13T09:44:00Z)
• Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model [100.86587937568832]
  Ring-1Tは、数兆のパラメータを持つ最初のオープンソースの最先端の思考モデルである。 総パラメータは1兆で、1トークンあたり約500億を活性化する。
  論文  参考訳（メタデータ） (2025-10-21T17:46:14Z)
• What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains [64.31313691823088]
  インコンテキスト学習(ICL)は、入力コンテキストからの情報を活用することで、訓練されたモデルが新しいタスクに適応することを学習するトランスフォーマーの能力である。 1層に1つの頭を持つ2層トランスは、実際に任意の条件k-gramを表現可能であることを示す。
  論文  参考訳（メタデータ） (2025-08-10T07:03:01Z)
• BriLLM: Brain-inspired Large Language Model [40.47939901030644]
  BriLLMは、機械学習の基礎を再定義する、脳にインスパイアされた大きな言語モデルである。 BriLLMは2つの重要な神経認知原理を取り入れている。(1) 静的な意味マッピング、(2) トークンは皮質領域に類似した特定のノードにマッピングされ、(2) 脳活動で観察される電気生理学的情報ダイナミクスをシミュレートする動的信号伝達である。 このアーキテクチャは、自然なマルチモーダル互換性、ノードレベルでの完全なモデル解釈可能性、コンテキスト長の独立スケーリング、言語タスクのための脳に似た情報処理のグローバルなシミュレーションなど、複数の革新的なブレークスルーを可能にする。
  論文  参考訳（メタデータ） (2025-03-14T11:08:30Z)
• CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up [64.38715211969516]
  CLEARと呼ばれる畳み込み型ローカルアテンション戦略を導入し,各クエリトークンの周囲のローカルウィンドウに特徴的インタラクションを限定する。 実験により,10K反復で10Kの自己生成サンプルに注意層を微調整することにより,事前学習したDiTから線形複雑度のある学生モデルへの知識伝達を効果的に行うことができた。
  論文  参考訳（メタデータ） (2024-12-20T17:57:09Z)
• BDC-Occ: Binarized Deep Convolution Unit For Binarized Occupancy Network [55.21288428359509]
  既存の3D占有ネットワークは重要なハードウェアリソースを必要としており、エッジデバイスの配備を妨げている。 本稿では,バイナライズド・ディープ・コンボリューション(BDC)ユニットを提案し,バイナライズド・ディープ・コンボリューション・レイヤの数を増やしつつ性能を効果的に向上させる。 我々のBDC-Occモデルは既存の3D占有ネットワークをバイナライズするために提案したBDCユニットを適用して作成する。
  論文  参考訳（メタデータ） (2024-05-27T10:44:05Z)
• Fcaformer: Forward Cross Attention in Hybrid Vision Transformer [29.09883780571206]
  ハイブリッド・ビジョン・トランス(FcaFormer)のための前方クロスアテンションを提案する。 私たちのFcaFormerは1630万のパラメータと約36億のMACでImagenetの83.1%のトップ-1の精度を実現しています。 これにより、ほぼ半分のパラメータといくつかの計算コストを節約し、蒸留されたEfficientFormerよりも0.7%高い精度を達成できる。
  論文  参考訳（メタデータ） (2022-11-14T08:43:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。