論文の概要: A Mixture-Gated Theory of Anisotropic Representation Dynamics in Transformers
- arxiv url: http://arxiv.org/abs/2610.23242v2
- Date: Fri, 23 Oct 2026 04:54:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.180713
- Title: A Mixture-Gated Theory of Anisotropic Representation Dynamics in Transformers
- Title（参考訳）: 変圧器の異方性表現ダイナミクスの混合ゲージ理論
- Abstract要約: 我々は,自己意識を価値伝達,クエリゲーティング,キーゲーティングに分離する理論を開発した。
我々は、この現象をゲーティングによって引き起こされる状態切替として定式化し、固定された注意の下で表現差が収縮するが、完全な注意の下で拡大する。
この結果から,アテンションルーティングが局所表現力学をどのように変化させるか,機械的,スペクトル的理解が得られた。
- 参考スコア（独自算出の注目度）: 12.862395698729232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Small differences between internal representations can shrink or grow as they pass through a Transformer layer, affecting how information is preserved and how sensitive the model is to perturbations. Yet it remains unclear when changes in attention weights can turn a representation difference that would otherwise shrink into one that grows. We develop a Mixture-Gated Theory of Anisotropic Representation Dynamics that separates self-attention into value transport, query gating, and key gating. Our analysis reveals how the geometry of attended representations constrains gating and how interactions between these mechanisms can reverse contraction induced by value transport. We formalize this phenomenon as gating-induced regime switching, where a representation difference contracts under fixed attention routing but expands under full attention. We derive a necessary and sufficient spectral criterion that certifies the existence or absence of switching and identifies switching directions without exhaustive search. Beyond existence, our theory characterizes maximum relative switching strength, certifies the severity of contraction that gating can overcome, and determines the largest dimension of a subspace in which every nonzero direction switches. Experiments across four Transformer architectures validate these predictions through analytical and finite-forward comparisons, revealing distinct and joint query--key gating mechanisms and nontrivial switching subspaces. Our results provide a mechanistic and spectral understanding of how attention routing can alter local representation dynamics.
- Abstract（参考訳）: 内部表現の小さな違いは、Transformer層を通過するにつれて縮小または成長し、情報の保存方法や、モデルが摂動にどれほど敏感であるかに影響を与える。
しかし、いつ注目の重みの変化が、それ以外は成長するものへと縮小する表現の違いに変わるのかは、まだ不明である。
我々は,自己意図を価値伝達,クエリゲーティング,キーゲーティングに分離する異方性表現の混合理論を開発した。
解析により, 出席表現の幾何学がゲーティングにどのように制約されるか, およびこれらのメカニズム間の相互作用が, 値伝達によって引き起こされる収縮を逆転させるかを明らかにした。
我々は、この現象をゲーティングによって引き起こされる状態切替として定式化し、固定された注意ルーティングの下で表現差が収縮するが、全注意で拡大する。
我々は、切替の有無を証明し、徹底的な探索を行わずに切替方向を識別する必要十分かつ十分なスペクトル基準を導出する。
存在を超えて、我々の理論は最大相対スイッチング強度を特徴づけ、ゲーティングが克服できる収縮の深刻さを証明し、すべての非零方向がスイッチする部分空間の最大の次元を決定する。
4つのトランスフォーマーアーキテクチャによる実験は、解析的および有限フォワード比較によりこれらの予測を検証し、異なるクエリー・キーゲーティング機構と非自明なスイッチング部分空間を明らかにした。
この結果から,アテンションルーティングが局所表現力学をどのように変化させるか,機械的,スペクトル的理解が得られた。
関連論文リスト
- From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers [53.505136935517925]
自己注意は現代のシーケンスモデルにおいてユビキタスプリミティブであるが、作用素レベルの幾何学は部分的には理解されていない。
単頭注意 (SHA) は, 常に搬送される接続伝播ステップであることを示す。
トレーニングされたトランスフォーマー(124Mから8B)と構造(エンコーダ/デコーダ)は、我々の理論と整合した幾何学的構造を示す。
論文 参考訳（メタデータ） (2026-07-12T09:44:54Z) - Anti Mode-Collapse in Mean-Field Transformer via Auxiliary Variables [9.32548799357705]
平均場に基づく変圧器モデルを用いて、位置符号化などの補助変数が自己認識機構のモード崩壊を防ぐ方法について理論的に検討する。
論文 参考訳（メタデータ） (2026-05-28T16:59:42Z) - Lost in Tokenization: Fundamental Trade-offs in Graph Tokenization for Transformers [50.98108117044413]
グラフ・ツー・トケン写像の選択は変換器の表現性の基本成分であることを示す。
既存の多くのグラフトークン化のためのビルディングブロックとして機能する3つのトークン化(スペクトル、ランダムウォーク、隣接トークン化)について検討する。
論文 参考訳（メタデータ） (2026-05-21T13:32:20Z) - The Laplacian Mechanism Improves Transformers by Reshaping Token Geometry [15.311893064721856]
ラプラシアン機構をトランスフォーマーに組み込むことで、コンピュータビジョンと言語におけるベンチマーク間で一貫した改善がもたらされることを示す。
本研究は,ラプラシアン機構が最大分離性の幾何へのトークン埋め込みを再現することを示す。
論文 参考訳（メタデータ） (2026-02-10T00:27:45Z) - Selective Induction Heads: How Transformers Select Causal Structures In Context [50.09964990342878]
因果構造を扱うトランスフォーマーの能力を示す新しいフレームワークを提案する。
我々のフレームワークは、遷移確率を固定しつつ、ラグの異なるマルコフ鎖をインターリーブすることで因果構造を変化させる。
この設定は、コンテクスト内で正しい因果構造を選択できる新しい回路である選択誘導ヘッド(Selective induction Heads)を形成する。
論文 参考訳（メタデータ） (2025-09-09T23:13:41Z) - RiemannFormer: A Framework for Attention in Curved Spaces [0.43512163406552]
この研究は、トランスフォーマーベースのアーキテクチャのさらなる可能性を解き放つための洞察を提供する努力である。
主な動機の1つは、変圧器における注意機構の幾何学的解釈を提供することである。
論文 参考訳（メタデータ） (2025-06-09T03:56:18Z) - Clustering in pure-attention hardmax transformers and its role in sentiment analysis [0.0]
ハードマックス自己アテンションと正規化サブ層を有する変圧器の挙動を, 層数が無限大になる傾向があるため, 厳密に特徴づける。
変換器は、リーダーと呼ばれる特別な点によって決定されるクラスター平衡にインプット的に収束することを示す。
そして、この理論的理解を利用して、完全に解釈可能なトランスフォーマーモデルを用いて、言語処理から感情分析問題を解く。
論文 参考訳（メタデータ） (2024-06-26T16:13:35Z) - An Analysis of Attention via the Lens of Exchangeability and Latent Variable Models [64.87562101662952]
入力トークンは、位置エンコーディングを含むため、しばしば交換可能であることを示す。
我々は入力トークンの十分かつ最小限の表現の存在を確立する。
所望パラメータの注意が近似誤差まで潜伏した後部を推定することを証明する。
論文 参考訳（メタデータ） (2022-12-30T17:59:01Z) - Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。
TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文 参考訳（メタデータ） (2021-02-27T21:48:46Z) - TIME: A Transparent, Interpretable, Model-Adaptive and Explainable
Neural Network for Dynamic Physical Processes [0.0]
我々は、観測可能なシステムを再構築するために、ドメインの不変構造をキャプチャする完全な畳み込みアーキテクチャを提案する。
我々の意図は、モデル適応性のための独立したプロセスを表す真のカーネルからの逸脱として解釈された結合された動的プロセスを学ぶことである。
論文 参考訳（メタデータ） (2020-03-05T04:19:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。