論文の概要: Relevant and Irrelevant: A Renormalization Group Analysis of Transformer Attention

• arxiv url: http://arxiv.org/abs/2607.15449v1
• Date: Thu, 16 Jul 2026 20:42:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.69962
• Title: Relevant and Irrelevant: A Renormalization Group Analysis of Transformer Attention
• Title（参考訳）: 関連性・非関連性:変圧器注意の正規化群解析
• Abstract要約: 我々はトランスフォーマーの注意機構をトレーニング済み残差固定点の摂動として扱う。 測定可能な予測は、固定点幾何、有効ランクプロファイル、層特異性、摂動減衰スペクトルに対して行われる。
• 参考スコア（独自算出の注目度）: 16.36212521143563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using the language of Wilsonian renormalization group theory (RG), we treat the Transformer's attention mechanism as a perturbation of the trained MLP residual-stack fixed point and ask whether it constitutes a relevant, marginal, or irrelevant operator. We derive a fixed-point shift formula and obtain four testable predictions for the fixed-point geometry, effective rank profile, layer specificity, and perturbation decay spectrum. Testing these on synthetic Markov chain sequences with controlled correlation length, we find: (1) For large chains(long correlation), attention is strongly relevant: it closes a residual loss gap the MLP cannot bridge and drives a phase transition in representation space, with effective rank jumping above input dimensionality at layer 1 and stabilizing at a high-dimensional plateau. (2) For short chains(short correlation), attention is irrelevant: the Transformer converges to the same loss and fixed-point geometry as the MLP, though it contracts perturbations faster. (3) The transition is dominated by the first-layer head (L0H0), which accounts for more than 4 times the representational shift of any subsequent head, consistent with the prediction that the relevant operator acts before the MLP begins integrating out positional variation. (4) Perturbation decay experiments reveal a regime reversal: in the long correlation regime the Transformer selectively preserves slow Markov modes (5.4 times the dynamic range in decay length vs. 1.3 times for the MLP); in the short correlation regime it suppresses all modes faster than the MLP, with no spectral selectivity. Together, these results show that the relevance of attention is not a property of the architecture but of the spectral structure of the data-generating process, and that a first-order RG perturbation framework provides a predictive account of that difference.
• Abstract（参考訳）: Wilsonian renormalization group theory (RG) の言語を用いて、トランスフォーマーの注意機構を訓練された MLP 残差スタック固定点の摂動として扱い、それが関連性、限界的、あるいは無関係な作用素を構成するかどうかを問う。 固定点シフト式を導出し、固定点幾何、有効ランクプロファイル、層特異性、摂動減衰スペクトルの4つの検証可能な予測値を得る。 1)大きなチェーン(長い相関関係)では,MLPはブリッジができず,表現空間の位相遷移を駆動し,有効ランクは1層より高く,高次元の台地で安定する。 2) 短鎖(短相関)に対して、注意は無関係である: トランスフォーマーは、摂動を高速に収縮するが、MLPと同じ損失と固定点幾何学に収束する。 (3) 遷移は第1層ヘッド(L0H0)によって支配され、後続のヘッドの表現シフトの4倍以上を占める。 (4) 摂動崩壊実験では、長い相関系では、トランスフォーマーは遅いマルコフモードを選択的に保存し、短い相関系では、スペクトル選択性なしで全てのモードを抑圧する。 これらの結果は、注意の関連性は、アーキテクチャの特性ではなく、データ生成プロセスのスペクトル構造であり、一階のRG摂動フレームワークは、その違いを予測的に説明できることを示している。

関連論文リスト

• From Concentration to Differentiation and Back: Routing Effective Rank in MoE Reasoning Cohorts [61.695980784491475]
  テストタイムスケーリングは、推論ロールアウトのコホートを生成するが、推論が展開するにつれて内部計算がどのように再編成されるかについて、標準的なラベルのない説明はない。 本稿では,MoEの専門家による類似性から構築したクロスロールアウトグラフのエントロピー有効次元性であるルーティング有効ランクデフを導入する。
  論文  参考訳（メタデータ） (2026-09-06T05:43:22Z)
• Beyond Tokens: Probing Higher-Order Epistasis in Learned Protein Representations [3.1035948531044912]
  ORBITは、相互作用の存在、表現のアクセシビリティ、機能回復を分離する相互作用変換フレームワークである。 我々は、リッジ回帰、標準の独立トークン、非線形独立トークン、残留相互作用トークン化(RIT)を比較した。 RITは、トークン段階でのペアワイズアクセシビリティを、双方の独立した制御と比較して著しく向上させた。
  論文  参考訳（メタデータ） (2026-08-24T23:35:36Z)
• Rank Collapse, Fixed Points, and the Renormalization Group Structure of MLP Residual Networks [16.36212521143563]
  類似が抽出可能な最も単純なアーキテクチャについて検討する。 残留流の有効ランクはトレーニング後の深度とともに単調に低下する。 ネットワークは、予測タスクに関連する自由度を正確に保持する。
  論文  参考訳（メタデータ） (2026-06-09T02:19:26Z)
• Unified Geometry-Guided ML-FTLE for Tracking Transient Chaos from Scalar Time Series [0.0]
  本稿では,予測軌道の偏差をマクロ的な誘引形態と統合し,突発的な状態変化を追跡する幾何学誘導型機械学習フレームワークを提案する。 この方程式のないフレームワークは、複雑な非定常系の構造遷移を監視するために、高精度でノイズ耐性のある診断を提供する。
  論文  参考訳（メタデータ） (2026-06-05T15:22:57Z)
• Contrast to Detect: Dynamic Graph Contrastive Regularization for Unsupervised Anomaly Detection in Multivariate Time Series [24.192601578775186]
  構造進化を抑圧するのではなく,学習信号に変換する,教師なしのフレームワークであるContrastADを提案する。 5つの実世界のベンチマークで、ContrastADは3つのデータセットでF1の平均値とAUCの最高値に達した。
  論文  参考訳（メタデータ） (2026-05-22T15:18:53Z)
• A Systematic Empirical Study of Grokking: Depth, Architecture, Activation, and Regularization [0.0]
  暗記からニューラルネットワークの一般化への遅れた遷移をグロッキングすることは、まだ理解されていない。 モジュラー加算に関する因子を系統的に分散させる制御された研究(mod 97)を提案する。 我々の中心的な発見は、グラッキングダイナミクスはアーキテクチャーによって決定されるのではなく、安定性と正規化の間の相互作用によって決定されることである。
  論文  参考訳（メタデータ） (2026-03-26T04:16:01Z)
• Shift Before You Learn: Enabling Low-Rank Representations in Reinforcement Learning [56.87989363424]
  シフトした後継尺度において,低ランク構造が自然に現れることを示す。 有効な低ランク近似と推定に必要なシフトの量を定量化する。
  論文  参考訳（メタデータ） (2025-09-05T15:48:20Z)
• Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
  In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。 最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。 本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
  論文  参考訳（メタデータ） (2025-07-28T00:09:28Z)
• Implicit Bias and Fast Convergence Rates for Self-attention [26.766649949420746]
  本稿では,変圧器の定義機構である自己注意の基本的な最適化原理について考察する。 線形分類におけるデコーダを用いた自己アテンション層における勾配ベースの暗黙バイアスを解析する。
  論文  参考訳（メタデータ） (2024-02-08T15:15:09Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Unraveling Attention via Convex Duality: Analysis and Interpretations of Vision Transformers [52.468311268601056]
  本稿では凸双対性のレンズを通して注意を解析する。 我々は、大域的最適性に対して解釈可能で解ける等価な有限次元凸問題を導出する。 自己認識ネットワークがトークンを暗黙的にクラスタリングする方法を示す。
  論文  参考訳（メタデータ） (2022-05-17T04:01:15Z)
• Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior [54.629850694790036]
  スペクトル正規化アイデンティティ事前 (SNIP) は、トランスフォーマーモデルにおける残余モジュール全体をアイデンティティマッピングに向けてペナライズする構造化プルーニング手法である。 5つのGLUEベンチマークタスクでBERTを用いて実験を行い、SNIPが同等の性能を維持しながら効率的な刈り取り結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-10-05T05:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。