論文の概要: Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels

• arxiv url: http://arxiv.org/abs/2607.11897v1
• Date: Fri, 12 Jun 2026 17:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-19 21:54:20.400374
• Title: Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
• Title（参考訳）: 半ダイレクトフーリエデルタアテンション:構成的チャンクWYカーネルを用いた位相制御デルタメモリ
• Abstract要約: リニアアテンションは、ソフトマックスアテンションの増大するKVキャッシュを固定されたリカレント状態に置き換えるが、この圧縮は正確な状態追跡と長いコンテキストメモリを制限する。 我々は,Kim Delta Attentionの位相制御一般化であるemphSemidirect Fourier Delta Attention (SFDA)を紹介した。 我々はこの代数を数値的に検証し、SFDAが周期記憶を学習する玩具状態追跡実験において、相障害KDAベースラインが近い確率で残っていることを示す。
• 参考スコア（独自算出の注目度）: 2.975968266926905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear attention replaces softmax attention's growing KV cache with a fixed recurrent state, but this compression limits exact state tracking and long-context memory. We introduce \emph{Semidirect Fourier Delta Attention} (SFDA), a phase-controlled generalization of Kimi Delta Attention that replaces real diagonal decay with block-rotational Fourier control: \[ S_t=(I-β_t k_tk_t^*)Λ_tS_{t-1}+β_tk_tv_t^*, \qquad Λ_t=\diag(α_t\odot e^{iθ_t}). \] Our main result is a constructive chunk-WY factorization for products \(A_t=Λ_t-u_tr_t^*\), giving \[ A_t\cdots A_1=Γ_t-Y_tM_tW_t^* \] with rank growth bounded inside fixed chunks. This yields an exact affine chunk transfer, formal stability and complexity bounds, and a compact characterization of phase-plus-low-rank memory. We verify the algebra numerically and show in toy state-tracking experiments that SFDA learns cyclic memory where the phase-disabled KDA baseline remains near chance. Fused kernels and large-scale language-model comparisons are left to future work.
• Abstract（参考訳）: リニアアテンションは、ソフトマックスアテンションの増大するKVキャッシュを固定されたリカレント状態に置き換えるが、この圧縮は正確な状態追跡と長いコンテキストメモリを制限する。 実対角線崩壊をブロック回転フーリエ制御に置き換える、Kim Delta Attentionの位相制御一般化である \emph{Semidirect Fourier Delta Attention} (SFDA) を導入する: \[S_t=(I-β_t k_tk_t^*)*_tS_{t-1}+β_tk_tv_t^*, \qquad >_t=\diag(α_t\odot e^{iθ_t} 。 この結果から, A_t\cdots A_1=a_t-Y_tM_tW_t^* \] が得られた。 これにより、正確なアフィンチャンク転送、形式的安定性と複雑性境界、位相+低ランクメモリのコンパクトな特性が得られる。 我々はこの代数を数値的に検証し、SFDAが周期記憶を学習する玩具状態追跡実験において、相障害KDAベースラインが近い確率で残っていることを示す。 融合カーネルと大規模言語モデルの比較は今後の研究に残されている。

関連論文リスト

• Branching stochastic mechanics. I. Clustering and connected correlations within a branching-process representation of the Schrödinger equation [0.0]
  拡張量子状態の統計における有限範囲相関? シュルディンガー・ナガサワは正の前方および後方拡散場による波動関数を表す。 拡張ボルン密度と有限相関範囲が1つのカーネルで共存可能であることを示す。
  論文  参考訳（メタデータ） (2026-08-30T14:19:07Z)
• Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones [4.847095054351615]
  リニアアテンションは一定時間繰り返しの推論を約束するが、連想的リコールによって著しく低下する。 Kernelized Linear Attention Activations (KATA)を紹介します。 ランク1の正の半定的な特徴が良好なキャパシティ-干渉トレードオフをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-07-19T21:46:09Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Don't Read Everything: A Curvature-Conditioned Query for Linear Attention [42.02790959450039]
  リニアアテンションは、繰り返し発生する高速な状態を維持することでソフトマックスアテンションの二次コストを低減する。 既存のリメディエーションは、ゲーティング、デルタ更新、カーネル機能マップを通じて、メモリの書き込み側に作用する。 我々は、より安価なクエリの読み取り時間縮約を構築するために、Softmaxの幾何学の特定の部分を借りる。 このメカニズムを Curvature-Conditioned Query (CCQ) と呼ぶ。 S-NIAHはトレーニングコンテキストの前後でのパープレキシティ、ゼロショットダウンストリーム精度、S-NIAH検索、4Kから20Kまでの長さのパープレキシティ、Longを改善する
  論文  参考訳（メタデータ） (2026-05-31T15:25:42Z)
• Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
  本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。 合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
  論文  参考訳（メタデータ） (2026-05-25T07:08:57Z)
• HoloByte: Continuous Hyperspherical Distillation for Tokenizer-Free Modeling [0.0]
  TextbfHoloByte: 連続超球形蒸留を利用した厳密なトークンフリーフレームワークを紹介する。 ホロバイトは離散バイト列を固定容量チャンクに分割し、連続で厳密な有界超球面多様体に射影する。 これらの結果から, 連続超球形蒸留は語彙内配列モデリングの数学的に厳密で, 計算学的に抽出可能な基礎として確立された。
  論文  参考訳（メタデータ） (2026-03-10T20:35:36Z)
• Memory-Conditioned Flow-Matching for Stable Autoregressive PDE Rollouts [0.0]
  自己回帰生成型PDEソルバは1歩前進し、長いロールアウトでドリフトする。 未解決変数の除去はマルコフ項で完全に解決された進化をもたらすことを示す。 次に、条件生成誤差からメモリ近似を分離する離散的なGrnwallロールアウト境界を導出する。
  論文  参考訳（メタデータ） (2026-02-06T13:21:52Z)
• LUNA: Linear Universal Neural Attention with Generalization Guarantees [27.74721677870656]
  textscLunaは、計算パリティの下で効率的なトランスフォーマーの間で最先端の平均精度を達成する。 textscLunaはポストホック変換にも優れており、細調整されたBERTとViT-B/16チェックポイントでソフトマックスを置き換える。
  論文  参考訳（メタデータ） (2025-12-08T21:49:55Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Beyond Homogeneous Attention: Memory-Efficient LLMs via Fourier-Approximated KV Cache [67.47789629197857]
  本稿では,トランスヘッド次元の不均一な役割を生かした学習自由フレームワークを提案する。 フーリエアテンションは、長コンテキスト非感性次元をフーリエ基底に投影することにより、その時間的進化を固定長のスペクトル係数で近似する。 本稿では,FourierAttention が LongBench と Needle-In-A-Haystack 上で最高の長文精度を実現することを示す。
  論文  参考訳（メタデータ） (2025-06-13T15:35:54Z)
• Convergence of TD(0) under Polynomial Mixing with Nonlinear Function Approximation [49.1574468325115]
  時間差分学習(TD(0))は強化学習の基本である。 マルコフデータを混合したバニラTD(0)の最初の高確率有限サンプル解析を行う。
  論文  参考訳（メタデータ） (2025-02-08T22:01:02Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
  視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。 線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。 これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。 ソフトマックスフリー変圧器(SOFT)を初めて提案する。
  論文  参考訳（メタデータ） (2021-10-22T17:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。