論文の概要: FourierQK: Spectral Preprocessing of Query-Key Projections Improves Transformer Attention

• arxiv url: http://arxiv.org/abs/2607.07478v1
• Date: Wed, 08 Jul 2026 14:43:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.424142
• Title: FourierQK: Spectral Preprocessing of Query-Key Projections Improves Transformer Attention
• Title（参考訳）: FourierQK: クエリキープロジェクションのスペクトル前処理により、トランスフォーマーのアテンションが改善される
• Abstract要約: Q/Kプロジェクションのスペクトル前処理により、文字レベルの言語モデリングにおけるトランスフォーマーの注意が向上する。 位置漏洩に対するシャッフルバリデーション診断により, 結果が検証された。 この研究は、両スペクトルの注意と単語スケールのトークン化における因果的注意のアーキテクチャ的境界を定義する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: FFT-based spectral preprocessing of learned query-key (Q/K) projections substantially improves transformer attention on character-level language modelling. On TinyShakespeare: a fixed random spectral filter achieves val=1.031 (Delta=+0.443); a single learned frequency at paragraph scale achieves val=0.608 (Delta=+0.867); and four learned frequencies spanning paragraph to word scale achieve val=0.309 (Delta=+1.166), a 79% reduction over standard dot-product attention. The single-frequency result is confirmed across three random seeds (mean val=0.236, std=0.019). The four frequencies converge to a near-geometric multi-scale ordering (49, 27, 10, 6 tokens/cycle) corresponding to paragraph, sub-paragraph, phrase, and word scales. The gain is specific to spectral preprocessing: random orthogonal and non-orthogonal projections of Q/K produce no measurable improvement, suggesting the benefit comes from global frequency-domain mixing rather than metric distortion. All results are verified by a shuffled-validation diagnostic against positional leakage. Causal filters (Gaussian, Mexican Hat, Morlet) do not improve over standard attention at character-level tokenisation: the bilateral FFT kernel is structurally non-causal, coupling every position to future tokens. This defines an architectural boundary between bilateral spectral attention (this paper) and genuinely causal spectral attention at word-scale tokenisation (companion paper MorletQK). This work is architecturally distinct from FNet (Lee-Thorp et al., 2021), which replaces attention with Fourier mixing of token embeddings. Here, spectral preprocessing applies only to Q/K projections while the full attention score structure is preserved.
• Abstract（参考訳）: FFTに基づく学習クエリキー(Q/K)プロジェクションのスペクトル前処理は、文字レベルの言語モデリングにおけるトランスフォーマーの注意を著しく向上させる。 TinyShakespeareでは、固定ランダムスペクトルフィルタはval=1.031(Delta=+0.443)、パラグラフスケールでの1つの学習周波数はval=0.608(Delta=+0.867)、パラグラフスケールからワードスケールまでの4つの学習周波数はval=0.309(Delta=+1.166)、標準ドット積アテンションよりも79%減少する。 単一周波数の結果は3つのランダム種子(平均val=0.236, std=0.019)で確認される。 4つの周波数は、段落、サブパラグラフ、フレーズ、単語スケールに対応するほぼ幾何学的な多スケール順序(49,27,10,6トークン/サイクル)に収束する。 Q/K のランダム直交射影と非直交射影は測定可能な改善を示さず、この利点は計量歪みではなく、大域的な周波数領域混合によるものであることを示唆している。 これらの結果は, 位置漏洩に対するシャッフルバリデーション診断によって検証された。 因果フィルタ (Gaussian, Mexican Hat, Morlet) は文字レベルのトークン化において標準的な注意よりも向上しない: 両側のFFTカーネルは構造的に非因果的であり、全ての位置を将来のトークンに結合する。 本論文は、両スペクトル注意(本論文)と、単語スケールのトークン化における真の因果スペクトル注意(MorletQK)のアーキテクチャ境界を定義する。 この作業は、FNet(Lee-Thorp et al , 2021)とはアーキテクチャ的に異なる。 ここでは、スペクトル前処理はQ/Kプロジェクションにのみ適用され、フルアテンションスコア構造は保存される。

関連論文リスト

• FLaG: Frequency-Domain Latent-attention Gated Pooling for Token Aggregation [6.298319903082888]
  トークンレベルの表現を固定次元のサンプル表現に変換するが、ほとんどのプール法は元のトークン空間でのみ動作する。 最終プーリング前にエンコーダ出力を再表現するプラグインアグリゲーションモジュールであるFLaG(Flequency-Domain Latent-attention Gated Pooling)を導入する。 FLaGは実数成分と虚数成分を通して非冗長なrFFTスペクトルを表現し、学習可能な遅延クエリでスペクトルトークンを要約し、サンプル条件付きゲートを導出し、下流アグリゲーションのために変調されたトークン表現を再構成する。
  論文  参考訳（メタデータ） (2026-09-01T07:32:44Z)
• Circuit Depth Compression via Spectral Gap Amplification in Quantum Phase Estimation [1.2318267573115809]
  入力演算子を前処理することで,量子位相推定の精度を著しく向上できることを示す。 この圧縮は、log2(1/(4w Delta_lambda) + 1でバウンドされ、正確なスペクトルでは不可能であることを示す。 4w2 (2Delta_m - 1) > Delta_lambda log (1/epsilon)
  論文  参考訳（メタデータ） (2026-08-14T06:45:48Z)
• Overcoming Fourier Locking in Quantum Data Re-uploading Classifiers via Spectral Homotopy [0.0]
  データ再ロード量子回路(DRUPQC)は普遍関数近似器である。 DRUPQCの主なボトルネックは、構造的ミスアライメントではなく、フーリエロックと呼ばれる障害モードであることを示す。
  論文  参考訳（メタデータ） (2026-07-13T02:28:17Z)
• Graph Convolutional Attention: A Spectral Perspective on Graph Denoising and Diffusion [82.7007012514703]
  偏極的目的の下では、線形注意は準最適であり、トレーニング分布に対して平均スペクトル偏極フィルタを学習することしかできないことを示す。 本稿では、入力グラフスペクトルを直接利用し、分布のスペクトル多様性に支配されるマージンによって線形注意を確実に上回るスペクトル注意法を提案する。 ブロックモデルでは、GCAは理想化されたスペクトルアテンション機構に確実に適合する。
  論文  参考訳（メタデータ） (2026-07-07T17:52:17Z)
• SpecGradFilter: A Spectral Gradient Filtering Framework for Taming Federated Heterogeneity [57.84199526590779]
  フェデレートラーニング(FL)は、非ID分散(非IID)データがクライアントのドリフトを誘導し、グローバルな収束を阻害する統計的不均一性によって根本的に挑戦される。 本研究では,新しい周波数領域の観点からクライアントのドリフトを再考し,Drift のスペクトルバイアスを明らかにする。 そこで本研究では,低周波信号の不一致を抑えることで不均一性を解消するスペクトルフィルタリンググラディエント・フレームワークであるSpecGradFilterを提案する。
  論文  参考訳（メタデータ） (2026-07-05T09:23:35Z)
• SpiralFovea: Input-Adaptive Foveated Tokenization as a Third Lever of Resource-Adaptive Inference [0.0]
  パラメータフリーで入力適応型トークンサーであるSpralFoveaを提案する。 コンテンツ駆動型ホットスポットアンカーの周辺では、マルチスケールのスパイラルリングが78個のパッチを生成し、入力段階で標準の196パッチのViTグリッドを置き換える。 標準的な4つのベンチマークで、SpiralFoveaは1.7-2.1ppの精度で入力トークンの60%の削減、トランスフォーマー層毎の自己アテンションFLOPの84%の削減、マッチした静的トークン化ベースラインの18-29%のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-07-01T11:09:07Z)
• Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention [0.0]
  標準的な注意力に欠ける2つの相補的帰納バイアスを同定する。 正当性と局所性は相補的帰納バイアスであり、それぞれが単独では満たせないギャップに対処する。 この超添加性は、2つの独立したトレーニングランで観察され、中心的な経験的発見である。
  論文  参考訳（メタデータ） (2026-05-25T22:04:31Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Long Range Frequency Tuning for QML [2.34764060945577]
  トレーニング可能な周波数アプローチでは、ターゲットのスペクトルサイズに合わせるために理論的にこれを削減し、ターゲットのスペクトルの周波数と同じ数の符号化ゲートしか必要としない。 勾配に基づく最適化は任意の目標値にプレファクタを誘導するが、訓練性は限定的であることを示す。 3次符号化を用いたグリッドベース初期化を提案し、高密度整数周波数スペクトルを生成する。
  論文  参考訳（メタデータ） (2026-02-26T14:56:37Z)
• PlotChain: Deterministic Checkpointed Evaluation of Multimodal LLMs on Engineering Plot Reading [0.0]
  PlotChainは、大規模言語モデル(MLLM)を評価するための決定論的、ジェネレータベースのベンチマークである。 PlotChainには15のプロットファミリーがあり、450のプロット(家族当たり30)がある。 上位モデルは80.42%(Gemini 2.5 Pro)、79.84%(GPT-4.1)、78.21%(Claude Sonnet 4.5)、GPT-4oは61.59%である。
  論文  参考訳（メタデータ） (2026-01-29T06:08:19Z)
• SpectralAR: Spectral Autoregressive Visual Generation [74.48368364895387]
  本稿では、スペクトルの観点から視覚系列の因果性を実現するためのスペクトル自己回帰視覚生成フレームワークを提案する。 我々のSpectralARは、画像のさまざまな詳細レベルを考慮し、配列因果性とトークン効率の両方をベルとホイッスルなしで達成します。
  論文  参考訳（メタデータ） (2025-06-12T17:57:44Z)
• Chirp Localization via Fine-Tuned Transformer Model: A Proof-of-Concept Study [0.23020018305241333]
  脳波スペクトログラムのチャープ様パターンは発作ダイナミクスの鍵となるバイオマーカーである。 本研究では、視覚変換器(ViT)モデルとローランド適応(LoRA)を微調整することで、このギャップを埋める。 我々は、チャープパラメータを持つ10万のスペクトログラムを生成し、チャープローカライゼーションのための最初の大規模ベンチマークを作成した。
  論文  参考訳（メタデータ） (2025-03-24T14:27:07Z)
• Learning Temporal Resolution in Spectrogram for Audio Classification [40.80903296278466]
  本稿では,音声分類のための時間分解能の識別が可能な新しい手法DiffResを提案する。 固定ホップサイズで計算されたスペクトログラムが与えられた場合、DiffResは重要なフレームを保持しながら非必要時間フレームをマージする。 固定時間分解能を用いた従来の手法と比較して、DiffResベースの手法は、少なくとも25%の計算コスト削減で同等またはより良い分類精度を達成することができる。
  論文  参考訳（メタデータ） (2022-10-04T16:18:50Z)
• Low-complexity deep learning frameworks for acoustic scene classification [64.22762153453175]
  音響シーン分類(ASC)のための低複雑さ深層学習フレームワークを提案する。 提案するフレームワークは、フロントエンドのスペクトログラム抽出、オンラインデータ拡張、バックエンドの分類、予測される確率の後期融合の4つの主要なステップに分けることができる。 DCASE 2022 Task 1 Development データセットで実施した実験は,低複雑さの要求を十分に満たし,最も高い分類精度を 60.1% で達成した。
  論文  参考訳（メタデータ） (2022-06-13T11:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。