論文の概要: Which the Eye Fears: Writing with Read-Blindness Explains Massive Activations in Transformers

• arxiv url: http://arxiv.org/abs/2609.35630v1
• Date: Mon, 28 Sep 2026 17:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 20:08:11.097207
• Title: Which the Eye Fears: Writing with Read-Blindness Explains Massive Activations in Transformers
• Title（参考訳）: 目が怖い: 読み目で書くとトランスフォーマーの大量活性化が説明される
• Abstract要約: トランスフォーマーの大量アクティベーション機能(MA)は、モデルがそれを抑制できるにもかかわらず層全体に持続する極値残差ストリーム機能である。 作業者レベルでの注意とフィードフォワードブロックの機械的解析により,これらのブロックは読み上げ時のMA座標を体系的に無視していることが明らかとなった。 注意層とフィードフォワード層は、この読み書き性を持ち、MAの出現と持続性に寄与している。
• 参考スコア（独自算出の注目度）: 15.849156666688799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Massive activation features (MAs) in Transformers are extreme-value residual-stream features that persist across layers despite the model's ability to suppress them. Why do they survive? Our investigation using an operator-level mechanistic analysis of attention and feed-forward (FFN) blocks reveals that these blocks systematically ignore MA coordinates while reading, but not while writing; creating a read-write asymmetry that blocks corrective feedback while allowing continued accumulation. We find that both attention and feed-forward layers have this read-blindness, and contribute to the emergence and persistence of MAs. To validate prior work that hypothesized that FFN's amplification abilities is the primary reason for MAs (Sun et al., 2026), we analyze the model checkpoints during learning. Contrary to our expectation, read-blindness emerges before FFN amplification, suggesting that it acts upstream in the MA mechanism. We further contribute gradient analysis to link this behavior to surprising asymmetries in the loss landscape, concluding that the model actively maintains this read-blindness. Finally, we find that removing read-blocking at different locations induces compensatory shifts elsewhere, but MAs still persist.
• Abstract（参考訳）: トランスフォーマーの大量アクティベーション機能(MA)は、モデルがそれを抑制できるにもかかわらず層全体に持続する極値残差ストリーム機能である。 なぜ生き残るのか? 注意・フィードフォワードブロック(FFN)の操作者レベルでの機械的解析により,これらのブロックは読みながらMA座標を体系的に無視するが,書きながらは無視する。 注意層とフィードフォワード層は、この読み書き性を持ち、MAの出現と持続性に寄与している。 FFNの増幅能力がMA(Sun et al , 2026)の主要な原因であると仮定した先行研究を検証するため, 学習中のモデルチェックポイントを解析した。 我々の期待に反して、FFN増幅の前に読み取り盲度が出現し、MA機構の上流で作用することが示唆された。 我々はさらに、この挙動を損失ランドスケープの驚くべき非対称性に結びつけるために勾配解析に寄与し、このモデルがこの読み取り盲点を積極的に維持していると結論付けた。 最後に、異なる場所での読み出しブロックの除去は、他の場所での補償シフトを引き起こすが、MAは引き続き持続する。

関連論文リスト

• Bypass Observation: A Conceptual Design of a Non-Intrusive Layer-Wise Semantic Extraction Architecture [2.8943395720203386]
  Bypass Observationは、非侵襲的な層単位の読み出しアーキテクチャである。 V/(12d) に支配される閉形式オーバーヘッド近似を導出する。 Bypass Observationは、隠された状態の部分的、潜在的に誤解を招く可能性のあるプロジェクションを保ちながら、モデルイテレーションをより観測可能にすることができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-09-12T08:35:45Z)
• The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity [22.040532283910522]
  この研究は、この現象のテクトメカニスティックな説明を提供する。 我々はそのルーツを自己注意に固有の価値集約プロセスに遡る。 概念実証として,事前学習時の値アグリゲーション出力を安定化するアーキテクチャ変更であるtextithead-wise RMSNormを提案する。
  論文  参考訳（メタデータ） (2026-05-07T17:28:55Z)
• Understanding Emergent Misalignment via Feature Superposition Geometry [48.56470855119906]
  狭小で無害なタスクの微調整が有害な行動を引き起こすことを示す。 本研究は,この現象の理解と緩和の基盤となる特徴的重ね合わせに,創発的不整合を関連づけるものである。
  論文  参考訳（メタデータ） (2026-04-07T06:10:21Z)
• Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers [0.0]
  自己監督型視覚変換器におけるブロックの重要性を,データにアクセスせずに正確に推定できることを示す。 その結果,マスク付き自己監督型視覚変換器のブロックレベル冗長性は顕著であった。
  論文  参考訳（メタデータ） (2026-02-03T18:27:24Z)
• From Narrow Unlearning to Emergent Misalignment: Causes, Consequences, and Containment in LLMs [51.800006486987435]
  特定領域での未学習を狭くすることで,創発的不適応が生じる可能性が示唆された。 我々の研究は、狭義のドメインアンラーニングが対象のコンセプトに対するコンプライアンス応答をもたらすことを示しているが、EMAを無関係のドメインに広めることもできる。
  論文  参考訳（メタデータ） (2025-11-18T00:53:23Z)
• Causality $\neq$ Decodability, and Vice Versa: Lessons from Interpreting Counting ViTs [6.622603488436762]
  物体計数のために微調整された視覚変換器(ViT)の関係について検討する。 アクティベーションパッチを用いて,空間トークンとCLSトークンの因果的役割を検証した。 我々は、異なる深さでカウント情報の復調性を評価するために線形プローブを訓練する。
  論文  参考訳（メタデータ） (2025-10-10T18:59:03Z)
• Activation Steering for Bias Mitigation: An Interpretable Approach to Safer LLMs [0.5076419064097734]
  大規模言語モデル(LLM)は、社会システムにますます統合されている。 バイアスを軽減する従来の方法は、しばしばデータフィルタリングやポストホック出力のモデレーションに依存している。 我々は、機械的解釈可能性の手法を用いてバイアスを特定し、積極的に軽減する完全なエンドツーエンドシステムを導入する。
  論文  参考訳（メタデータ） (2025-08-12T15:34:18Z)
• Reversed Attention: On The Gradient Descent Of Attention Layers In GPT [55.2480439325792]
  我々は、後ろ向きの注意パスの数学を研究し、それが「逆注意」と呼ぶ注意行列を暗黙的に計算することを明らかにする。 実験的な設定では,モデルの重みを変更することなく,前向きの注意パスを直接変更することができる。 LMがバックプロパゲーション中に注意層を構成する方法の理解を深めるだけでなく、Reversed Attention Mapはより解釈可能な後方パスに寄与する。
  論文  参考訳（メタデータ） (2024-12-22T13:48:04Z)
• MLP Can Be A Good Transformer Learner [73.01739251050076]
  自己保持機構はトランスフォーマーの鍵であるが、その計算要求に対してしばしば批判される。 本稿では,非重要注意層を選択的に除去することで,視覚変換器の簡易化と計算負荷削減を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T16:40:15Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。