論文の概要: Phase Space Attention:A Hairer Lift Circumvents the Single-Layer Induction Obstruction

• arxiv url: http://arxiv.org/abs/2609.32319v1
• Date: Sat, 26 Sep 2026 07:29:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:48:22.211266
• Title: Phase Space Attention:A Hairer Lift Circumvents the Single-Layer Induction Obstruction
• Title（参考訳）: 位相空間の注意:Hairer Liftが単一層誘導障害を予防する
• Abstract要約: ポストRoPE基板上の一段階,因果,双線形,シンプレクティックに一貫した設計クラスにおいて,Sanford-Hsu-Telgarsky(SHT)単層誘導障害を回避する。 我々は、このリフトが分解されたサブクラスの中で一意であり、演算子レベルで正確にシンプレクティックであり、RoPE後の配置を必要とすることを証明している。
• 参考スコア（独自算出の注目度）: 2.204918347869259
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We circumvent the Sanford-Hsu-Telgarsky (SHT) single-layer induction obstruction within a linear, one-step, causal, bilinear, symplectically consistent design class on the post-RoPE substrate, by lifting attention onto a symplectic phase space, mirroring Hairer's lift of Stormer-Verlet. The lift exits the premise of the SHT counting argument rather than the bound itself. The reframing exhibits the obstruction as a filter-order gap: a one-layer bilinear score realises a $z$-transform of joint order $(0,0)$, whereas the induction discriminator requires key-side order $\geq 1$. Applying the symplectic upper shear $M_γ:(q,p)\mapsto(q+γp,p)$ to the post-RoPE query and key streams closes it. We prove this lift is unique within the factorised subclass, exactly symplectic at operator level, and requires post-RoPE placement; and in an explicit $T_4$-only Gaussian reduction we derive a closed-form two-branch induction phase transition, held out at $r=0.9876$ with zero fitted parameters. That law is an analytically solvable limit, not a robust prediction: restoring the $T_3$ channel moves $γ_c$ at $d_k=64$ from 1.030 to 0.569 and removes the crossover. Deployability follows by exact derivation: the KV cache is unchanged, prefix reuse and speculative decoding are preserved, overhead is $6d$ FLOPs per token per layer, INT8 headroom grows by at most $\log_2(1+2γ)$ bits, fused kernels are unmodified, and no parameters are added. At 91.3M parameters a supercritical sweep locates an emergence band: induction forms 3/3 seeds at $γ=0.80$ in a mean of 717 steps, against 2/3 seeds and 2700 steps at $γ=0$. Adverse results are reported as directly: a key-only half-lift reaches 0.949 against 0.811 for the symmetric operator, so if induction accuracy is the objective, the half-lift is the better construction. Forty-one notebooks and result files ship as ancillary material.
• Abstract（参考訳）: 我々は,Hairer's lift of Stormer-Verletを反映したシンプレクティック位相空間に注意を向けることにより,Sanford-Hsu-Telgarsky (SHT) 単層誘導の線形,一段階,因果,双線形,シンプレクティックに一貫した設計クラスを回避した。 リフトは、境界自身ではなく、SHTカウント引数の前提から抜ける。 1層双線型スコアは、ジョイントオーダー$(0,0)$の$z$-変換を実現するが、誘導判別器はキーサイドオーダー$\geq 1$を必要とする。 シンプレクティックな上層せん断$M_γ:(q,p)\mapsto(q+γp,p)$をポストRoPEクエリに適用すると、キーストリームがそれをクローズする。 このリフトは分解された部分クラスの中で一意であり、演算子レベルでは正確にシンプレクティックであり、ポストRoPEの配置を必要とすることを証明し、明示的な$T_4$-only Gaussian還元では閉形式の2分岐帰納相転移を導出する。 この法則は解析的に解決可能な極限であり、堅牢な予測ではない:$T_3$チャネルの復元は、1.030から0.569へ$d_k=64$で$γ_c$を移動し、クロスオーバーを除去する。 KVキャッシュは変更されず、プレフィックスの再利用と投機的復号化が保存され、オーバーヘッドは6d$ FLOPs/層当たり、INT8ヘッドルームは最大$\log_2(1+2γ)$ビットで成長し、融合カーネルは変更されず、パラメータは追加されない。 91.3Mパラメーターでは、超臨界スイープは出現帯に位置し、誘導は2/3のシードと2/700のステップで、γ=0.80$で3/3のシードを平均で717のステップで形成する。 鍵のみのハーフリフトは対称作用素の0.811に対して0.949に達するので、誘導精度が目的であるなら、ハーフリフトはより良い構成である。 41のノートと結果のファイルは、補助材料として出荷される。

関連論文リスト

• Inevitability of Encrypted Traffic Side-Channel Leakage in the Multi-Class Setting [20.06940271479014]
  クラスごとの分解$I(X;Y)=sum_i_i D_mathrmKL(P_Y|i|P_Y)$を介して、Side-Channel Existence Theoremを$k$クラスに拡張します。 以下の3つの結果が従う: (1) 活性クラス全体の和形式 MI の下限、(2) カスケード臨界コスト定理と、一様予算境界が消滅する非ゼロ、(3) 精度 $mathrmAcc*
  論文  参考訳（メタデータ） (2026-09-06T00:48:40Z)
• Detecting and Discriminating Operator Misspecification in Hybrid PDE-Parameter Learning: a Reference-Free Instrument, with Discrimination Bounded In Sample [0.0]
  私たちは1つのフィットから読み取る楽器を作り、オラクルは持っていません。 回復時に神経推定器がTikhonov-regularized inversionに負ける、事前登録された負の機器である、装置の盲点を報告する。
  論文  参考訳（メタデータ） (2026-08-04T21:20:44Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models [0.0]
  我々は3つのQwen3.5高密度スケールにおける手続きスキルSFTの寄与を測定した。 SFT対応のプロシージャ$$リフトは、大まかに一様である。
  論文  参考訳（メタデータ） (2026-05-12T10:19:33Z)
• Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
  Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。 FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。 本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
  論文  参考訳（メタデータ） (2026-04-09T02:00:30Z)
• Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
  自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。 臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
  論文  参考訳（メタデータ） (2023-09-21T18:11:04Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。