論文の概要: Before Attention Sinks Form: Hidden-State Geometry Reveals and Modulates Their Formation

• arxiv url: http://arxiv.org/abs/2610.16745v1
• Date: Mon, 12 Oct 2026 13:14:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.375646
• Title: Before Attention Sinks Form: Hidden-State Geometry Reveals and Modulates Their Formation
• Title（参考訳）: 注意シンクの形成:隠れた状態の幾何学が発見し、その形成を変調する
• Abstract要約: 測定可能な隠れ状態の変化が事前に現れるか、その幾何の変化が後回しに起こるかを検討する。 シンクタイミングがプロンプトによって変化すると、隠れた状態の単純なスペクトル要約が現在の注意以上の情報を追加する。 その結果、隠れた状態の短いスペクトル再構成により、注意シンクが先行し、この幾何学を直接摂動することで、その後の沈み込みの形成を因果的に変化させることができることがわかった。
• 参考スコア（独自算出の注目度）: 24.298941882407448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention sinks are usually studied after they have formed. We ask whether a measurable hidden-state change appears beforehand and whether changing that geometry alters what happens later. To remove network depth as a shortcut, we compare prompts in the same model and at the same layer. When sink timing varies across prompts, simple spectral summaries of the hidden states add information beyond current attention, with the clearest prompt-specific signal in a short window about two to three layers before sink formation. The predictive strength varies across cohorts, so we treat the spectrum as a readout of a pre-sink state change rather than a universal warning statistic. The signal is broader than one measured extreme activation. We then modify only the singular values of the post-layer hidden states after current attention has already been computed. These interventions change later sink behavior in Qwen2.5, GLM-Z1, and GPT-OSS relative to norm-matched random spectral perturbations. In Qwen2.5, the immediate suppressive effect is accompanied by a reduction in next-layer query--key preference for position~0, and the learned spectral directions remain stable when estimated from substantially less training data. Together, the results show that attention sinks are preceded by a short spectral reorganization of hidden states, and directly perturbing this geometry can causally alter subsequent sink formation.
• Abstract（参考訳）: 注意シンクは、通常、形成後に研究される。 測定可能な隠れ状態の変化が事前に現れるのか、その幾何の変化が後で起こるのかを問う。 ネットワークの深さをショートカットとして除去するため、同じモデルと同一層のプロンプトを比較した。 シンクのタイミングがプロンプトによって異なる場合、隠れた状態の単純なスペクトルの要約は、シンクの形成の前に2層から3層ほどの短い窓に最も明確なプロンプト固有の信号で、現在の注意以上の情報を追加する。 予測強度はコホートによって異なるため、スペクトルは普遍的な警告統計ではなく、プリシンク状態変化の読み出しとして扱う。 信号は、測定された極端なアクティベーションよりも広い。 そして、現在の注意が既に計算された後、ポスト層隠れ状態の特異値だけを修正します。 これらの介入は後にQwen2.5, GLM-Z1, GPT-OSSのシンク挙動を変化させる。 Qwen2.5では、即時抑制効果は、位置~0の次層クエリ-キー選択の低減と伴い、学習したスペクトル方向は、ほぼ少ないトレーニングデータから推定された場合、安定している。 この結果から,隠れた状態の短いスペクトル再構成によって注目シンクが先行し,この形状を直接摂動することで,その後の沈み込みの形成を因果的に変化させることが示唆された。

関連論文リスト

• We Have Been Interpreting Diffusion Transformer Backbone Behaviors Wrong [54.63769685905746]
  拡散バックボーンは、ネットワークフォワードコール中に多くの中間活性化を生成する。 同一のベンチマークプロトコルに対して各アクティベーションを評価すると、深さプロファイルとして逆U字曲線をプロットできる。 これは拡散モデルコミュニティにおいて一般的な知識であり、広く採用されているREPAを含む多くの応用に刺激を与えている。 トレーニング設定の予測目標に基づいて,REPAのほぼ最適配置を予測する方法について述べる。
  論文  参考訳（メタデータ） (2026-10-10T03:26:50Z)
• Optimizer Geometry Sets the Pace: Spectral Learning Dynamics in Matrix Factorization [30.50715137003049]
  深い行列分解において、勾配降下を遅くする幾何学は、小さな特異モードの出現を遅らせることによって低ランクの解を好む。 本研究では, 特異モード力学の共通枠組みを用いて, 幾何と深度が協調的にこの挙動を統治する方法について検討する。
  論文  参考訳（メタデータ） (2026-10-03T03:17:59Z)
• Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs [10.071616077668732]
  Video Large Language Models (VideoLLMs) は連続的にフレームを受け取り、時間軸に沿って視覚的コンテンツがどのように進化するかを解釈する。 ビデオのフレーム順序を逆転させ、時間的回答を逆転させる変換は、最終的な予測を変更せずに済むことが多い。 本稿では, 時間差分ベクトル $_l$, 時間次を逆転することで生じる層幅の表現差を定義することにより, この障害の起点を解明する。
  論文  参考訳（メタデータ） (2026-10-01T12:45:01Z)
• NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption [67.57304101271096]
  Element-wise Masking (EM) は、エッジによって引き起こされるメッセージをゼロに抑制する。 ノイズ破壊(NC)は、一致したノームなランダムな方向の破損を通じて各メッセージに摂動を与える。 騒音破壊に基づく説明フレームワークであるNICEは、NCが引き起こす不確実性の下で復元境界(英語版)(SRB)を学習する。
  論文  参考訳（メタデータ） (2026-08-17T03:08:14Z)
• Koopman early warning signals for bifurcation and rate-induced tipping [3.0353973023015346]
  我々は、クープマン作用素理論を用いて、システムにおける分岐とレート誘起のチップのための統一的な早期警告フレームワークを開発する。 この手法は、力学と有限次元近似との相違を測る残留クープマンモード分解に基づいている。 理想化された例では、結果の指標は分岐点付近で期待されたシグネチャを回収し、レート誘起状態の検出を改善する。
  論文  参考訳（メタデータ） (2026-08-12T01:33:22Z)
• Geometric Collapse: When Vision Models Fail to Verify Physical Causality [52.43819179934414]
  スクランブルドエッジ(Scrambled Edges)は、サリアントエッジのようなキューを注入する制御されたカウンターファクトである。 エネルギー整合制御と構造整合制御により, 高周波エネルギーとエッジ間隔から支持エッジエビデンスの効果を分離する。 CNN/ViT/SSL深度予測器を通して、Scrambled Edgesはエネルギー整合ノイズよりもクリーンな予測から最大3.2倍大きな偏差を誘導する。
  論文  参考訳（メタデータ） (2026-07-08T00:04:02Z)
• The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity [22.040532283910522]
  この研究は、この現象のテクトメカニスティックな説明を提供する。 我々はそのルーツを自己注意に固有の価値集約プロセスに遡る。 概念実証として,事前学習時の値アグリゲーション出力を安定化するアーキテクチャ変更であるtextithead-wise RMSNormを提案する。
  論文  参考訳（メタデータ） (2026-05-07T17:28:55Z)
• Attention Sinks Induce Gradient Sinks [41.85762183893736]
  因果マスクの下では、注意シンクが顕著な勾配濃度を誘導できることを示す。 大規模な活性化は、この局所的な勾配圧力に対する適応応答として理解することができる。 これらの結果は、勾配シンクがアテンションシンクと大規模なアクティベーションをリンクする重要なトレーニングタイムメディエータである、という解釈を支持する。
  論文  参考訳（メタデータ） (2026-03-18T14:31:21Z)
• How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective [67.08306259095778]
  モデルがゼロ位置のトークンを認識できるように簡単なメカニズムを同定し、2つの変圧器ブロック内で注意シンクを誘導する。 スクラッチからトレーニングされた30B A3B MoEモデルからのトレーニングトレースを分析することで、このメカニズムはトレーニングの初期段階に現れ、最初の2層に集中するようになる。
  論文  参考訳（メタデータ） (2026-02-04T11:10:34Z)
• Understanding Transformers for Time Series: Rank Structure, Flow-of-ranks, and Compressibility [90.894232610821]
  我々は、ランク構造のレンズを通してトランスフォーマーを解析する。 時系列埋め込みは急激な減衰特異値スペクトルを示すことを示す。 関連する$Q/K/V$プロジェクションが正確な低ランク近似を持つことを示す。
  論文  参考訳（メタデータ） (2025-10-02T23:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。