論文の概要: Fingerprint, Not Blueprint: How Positional Schemes Set the Default Spectral Algebra of Attention

• arxiv url: http://arxiv.org/abs/2607.06621v1
• Date: Tue, 07 Jul 2026 10:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.157034
• Title: Fingerprint, Not Blueprint: How Positional Schemes Set the Default Spectral Algebra of Attention
• Title（参考訳）: フィンガープリントはブループリントではない: 位置決めスキームがデフォルトのスペクトル代数に注意を向ける方法
• Abstract要約: 最強の先行頭頂部は、RoPEの下でスペクトル回転していることを示す。 また、公開ピティアチェックポイントでは、すべてのヘッドがランダム行列(ジニブレ) null に起源を持つことを示す。 検討された設定の中で、位置スキームはアテンションヘッドの解のデフォルトスペクトル代数を設定する。
• 参考スコア（独自算出の注目度）: 1.7042264000899534
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The pre-softmax score of an attention head is a bilinear form $score(i,j) = x_i^T M x_j$ in a learned operator $M = W_q^T W_k$. Because M is generally non-symmetric, hence non-normal, it has a complex eigenspectrum and non-orthogonal eigenvectors, the regime where non-Hermitian and random-matrix tools apply. We ask what this spectrum encodes, at three levels for previous-token and induction circuits. Statically, across seven pretrained models spanning three positional schemes, the strongest previous-token heads are spectrally rotational under RoPE and non-rotational, or content-like, where position enters outside QK (learned-absolute and ALiBi); the model-level separation is perfect at every top-k examined (exact permutation $p=0.029$), and zeroing the per-frequency RoPE phase $Im(M_t)$ eliminates induction on a pre-identified previous-token head in all three RoPE models. Dynamically, over public Pythia checkpoints every head originates at the random-matrix (Ginibre) null; the rotational signature emerges with the behavior, not before it, and the population-median suppression that yields the final profile follows circuit formation, so the profile is a consolidated fingerprint, not a precursor. Causally, and at toy scale, no spectral channel is necessary: constrained two-layer training reroutes around every ban with capability intact, albeit at a significant formation delay (four pre-registered contrasts, $q_BH <= 0.016$). The cost structure exposes each scheme's default: imposing symmetry slows learned-absolute models by a factor of 2.9, whereas a RoPE head with a fully symmetric static M still routes directionally via the phase channel, impossible under absolute positions. Within the settings examined, the positional scheme sets the default spectral algebra of an attention head's solution: a fingerprint sculpted after function, not a hard constraint upon it.
• Abstract（参考訳）: 注目ヘッドのソフトマックス前のスコアは、学習演算子$M = W_q^T W_k$の双線形形式$score(i,j) = x_i^T M x_j$である。 M は一般に非対称であり、したがって非正規であるため、複素固有スペクトルと非直交固有ベクトルを持つ。 このスペクトルは、前処理回路と誘導回路の3レベルにおいて符号化されるのかを問う。 統計的には、3つの位置スキームにまたがる7つの事前訓練されたモデルにおいて、最強の事前学習されたヘッドは、RoPEと非回転の下でスペクトル的に回転し、QKの外側に位置が入るコンテントのようなものであり(学習された絶対値とALiBi)、モデルレベルの分離は、すべてのトップkで完璧であり(実際に順応する$p=0.029$)、周波数当たりのRoPE位相$Im(M_t)$は、3つのRoPEモデルすべてにおいて事前同定された事前学習ヘッドの誘導を排除している。 動的に、公共のピシアチェックポイントでは、すべてのヘッドはランダム行列(ジニブレ)ヌル(英語版)で発生し、回転のシグネチャは前ではなく行動とともに出現し、最終プロファイルを生じる人口・中間的な抑制は回路形成に従って行われるので、プロファイルは前駆体ではなく統合された指紋である。 制限された2層トレーニングは、有効性を保たないすべてのバンの周囲で、大きな形成遅延(4つの事前登録されたコントラスト、$q_BH <= 0.016$)で再帰する。 一方、完全に対称な静的なMを持つRoPEヘッドは、絶対位置下では不可能である。 調査された設定の中では、位置決め方式は、注意ヘッドの解のデフォルトのスペクトル代数、すなわち機能後に彫られた指紋を、それに対する厳密な制約ではなく設定する。

関連論文リスト

• $\ ext{GSF-}χ$: Global Stereochemical Fields for Chiral Graph Transformers [49.85093436361195]
  GSF-$$は、全ての対の相互作用をステレオジェニック単位が変調するグラフ変換器である。 $C$プロジェクションはミラーオンのECDピークカウントと位置をミラーオードピークサインから分離する。 GSF-$$は全ての中央ECD出力をリードし、軸方向回転とシンボルを最強のベースラインで12.6%$と7.9%$で改善する。
  論文  参考訳（メタデータ） (2026-09-11T07:41:20Z)
• Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
  機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。 スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
  論文  参考訳（メタデータ） (2026-08-10T19:42:01Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Flash EQ-Linear: Accelerating Equivariant Linear Layers via Group-wise Discrete Fourier Transform [65.89510337046077]
  等変ネットワークは、ウェイトシェアリングを通じて構造的先行として幾何学的対称性を埋め込む。 既存の実装では、構造化された重みを高密度な行列に展開し、それらを一般的な高密度なカーネルにディスパッチする。 これは、同変ネットワークが3つの軸を同時に持つ非同変ネットワークを厳密に支配するのは、これが初めてである。
  論文  参考訳（メタデータ） (2026-07-23T12:45:21Z)
• Demixing Sparse Signals from Nonlinear Observations using Generalized Non-convex Regularization [0.0]
  重畳の非線形観測回数が限られていることから, スパースベクトルの回復を考察する。 本稿では, 一般化畳み込みペナルティとハマー化データ忠実度を組み合わせた正規化に基づくフレームワークを提案する。 仮に局所的な定常点を保った位数$sqrtslog(n)/m$の誤差境界を導出する。
  論文  参考訳（メタデータ） (2026-07-12T07:29:39Z)
• RotateAttention: RoPE-Aware Rotation and Range Rectification for INT4 Quantized Attention in Video Generation [15.82658615412336]
  3D RoPEを用いた textbfDiT ベースのビデオ生成モデルに適した,効率的な textbfmixed-precision INT4 FlashAttention フレームワークを提案する。 textbfRotateAttentionは、最大1.68$times$エンドツーエンドのスピードアップと2.2$times$カーネルレベルのアクセラレーションを達成しながら、フル精度のベースラインとほぼ同じ品質の映像を生成する。
  論文  参考訳（メタデータ） (2026-07-01T02:44:10Z)
• All Routes Lead to Collapse [0.0]
  注意シンク,表現崩壊,ノルム成層化はトランスフォーマー固有の病態ではないことを示す。 ソフトマックスの注意は、一定の鍵ノルムを持つユークリッド距離上のボルツマン重み付き集約である。
  論文  参考訳（メタデータ） (2026-06-21T03:59:13Z)
• Imbuing Large Language Models with Bidirectional Logic for Robust Chain Repair [44.80087038178069]
  本稿では,デコーダのみのトランスフォーマーをネイティブに組み込んだトレーニングフレームワークであるTeleological Reasoning Infilling (TRI)を紹介する。 推測では、TRIは二重システムループ内の外科的修復モジュールとして動作する。 3つのベンチマークの実験では、TRIは全てのタスクで最先端のパフォーマンスを達成し、プロブレム当たりのトークン支出を31.2%削減した。
  論文  参考訳（メタデータ） (2026-06-03T15:58:48Z)
• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• OLion: Approaching the Hadamard Ideal by Intersecting Spectral and $\ell_{\infty}$ Implicit Biases [29.60546958677364]
  nameAは、更新方向からのスペクトル制御と、署名更新からの座標制御を組み合わせる。 我々は、軽度で経験的に証明された対角対等方性仮定の下で収束を証明した。 nameA は運動量レベル状態のみを使用しながら、同等のチューニングの下でAdamW と Muon にマッチするか、より優れています。
  論文  参考訳（メタデータ） (2026-02-01T08:59:45Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。