論文の概要: FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law

• arxiv url: http://arxiv.org/abs/2610.00009v1
• Date: Thu, 09 Jul 2026 14:41:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.307006
• Title: FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law
• Title（参考訳）: FourierQK: フィルタ形状, 許容性, 漏れ量法則
• Abstract要約: Q/Kドット積をバンドパスフィルタ内積に置き換えて学習周波数で、標準点積よりも大きな利得を得る。 文字レベル言語モデリングにおける制御アブレーションを用いて,フィルタ特性に関する5つの仮説を検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frequency-collapse attention [Zeris, 2026e] achieves large gains over standard dot-product attention by replacing the Q/K dot product with a bandpass-filtered inner product at a learned frequency. A natural follow-up question is: which filter shape works best, and why? We test five hypotheses about filter properties -- DC suppression, Nyquist suppression, bandwidth, centre frequency, and multi-scale coverage -- using a controlled ablation on character-level language modelling (TinyShakespeare, 6-layer GPT). Our main findings are: (1) DC and Nyquist components are actively harmful (val ~= 2.0, equivalent to phase randomisation), confirming that oscillatory bandpass structure is essential, not just any low-dimensional spectral summary; (2) the optimal single-scale bandwidth is sigma ~= 2 bins centred at paragraph scale (~70 tokens), giving a clean gain of Delta = +1.15 nats over BASE-DOT; (3) admissible filters (zero-mean, Mexican Hat DOG m = 2) outperform non-admissible Gaussians at the same scale and provide partial protection against bilateral FFT leakage; (4) bilateral FFT leakage scales monotonically with spectral coverage -- narrowband filters (gap > +4) are clean, wideband filters (gap < +2) are leaky; and (5) causal time-domain Morlet at character scale cannot beat BASE-DOT (K=128 taps covers 50% of T=256 context), motivating word-level experiments in the companion MorletQK paper [Zeris, 2026f]. Together, findings (1)-(5) characterise FourierQK as effective in bidirectional attention settings (encoder-style, e.g. BERT), where full-sequence context is available at both training and inference time; autoregressive generation requires a causal spectral variant such as MorletQK [Zeris, 2026f] (decoder-style, e.g. GPT). Code available at: https://github.com/AthanasiosZeris/energy-gated-attention
• Abstract（参考訳）: Q/Kドット積をバンドパスフィルタ内積に置き換えて学習周波数で、標準点積よりも大きな利得を得る。 自然なフォローアップの質問は、どのフィルター形状が一番良いのか? 文字レベル言語モデリング(TinyShakespeare, 6-layer GPT)の制御アブレーションを用いて, フィルタ特性(DC抑制, Nyquist抑制, 帯域幅, 中心周波数, マルチスケールカバレッジ)に関する5つの仮説を検証した。 本研究の主目的は,(1)DCとNyquistの成分は能動的に有害である(val ~=2.0,位相ランダム化と同値)こと,(2)低次元のスペクトル要約だけでなく発振帯域構造が不可欠であることを確認すること,(2) 単一スケールの最適帯域幅がシグマ~=2ビン(〜70トークン)であること,(3) デルタ=+1.15ナットをBASE-DOT上でクリーンにゲインすること,(3) 許容フィルタ(ゼロミーン,メキシコハットDOG m = 2) が同一スケールで非許容ガウスアンより優れること,(4) 両FFTリークに対して部分的保護を提供すること,(4) 両FFTリークスケールが狭帯域(ガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガガシアン) (4) 両FFTリークスケールが広帯域であること,(5) 両FFTリークスケールが広帯域幅であること,(5) モザイット(モザイット) (<K) モザイット(KK) モザイット(K) モザイット(K) モザイット(K) モザイット(K) モザイット(K) モザイット(K)。 1)-(5)は、FourierQKを双方向の注意設定(エンコーダスタイル、eg BERT)に有効であると特徴付け、フルシーケンスコンテキストはトレーニング時間と推論時間の両方で利用でき、自動回帰生成にはMorletQK[Zeris, 2026f](デコーダスタイル、eg GPT)のような因果スペクトルの変種が必要である。 https://github.com/AthanasiosZeris/Energy-gated-attention

関連論文リスト

• The Filter Metric is Safety-Critical: Phantom Advantages in Group-Relative RL under Shaped Rewards [1.667501390377158]
  グループ相対的なポリシー最適化は、動的サンプリングによって非コントラストのロールアウトグループを捨てることができる。 我々は,複合形状の報酬の下で,計量述語ミスマッチを同定し,定量化する。
  論文  参考訳（メタデータ） (2026-09-12T10:36:55Z)
• Circuit Depth Compression via Spectral Gap Amplification in Quantum Phase Estimation [1.2318267573115809]
  入力演算子を前処理することで,量子位相推定の精度を著しく向上できることを示す。 この圧縮は、log2(1/(4w Delta_lambda) + 1でバウンドされ、正確なスペクトルでは不可能であることを示す。 4w2 (2Delta_m - 1) > Delta_lambda log (1/epsilon)
  論文  参考訳（メタデータ） (2026-08-14T06:45:48Z)
• Adaptive Filtering of the KV Cache: Diagnosing and Correcting Structural-Role Bias in LLM Inference [0.0]
  KVキャッシュ消去はノイズを不均等に保持する非定常フィルタである。 キートークンは、応答するVALUEトークンの約1.8倍の速度で保持される。 反ファクト実験では、KEYトークンの抑制が最良のデプロイ可能なフィルタであることを示す。
  論文  参考訳（メタデータ） (2026-07-14T18:55:20Z)
• Confidence Scores in Open-Vocabulary Detection Are a Biased Mixture of Scale and Semantics [8.465978346858842]
  CLIPのような基盤モデルは、視覚言語的類似性を通じて新しいカテゴリに一般化するオープン語彙オブジェクト検出器を可能にした。 スケールバイアスの発見は2つの効果の偏りのある混合であることを示す。 これらの結果から,画像レベルの基礎モデルを領域レベルの検出タスクに適用する上での基本的限界が明らかとなった。
  論文  参考訳（メタデータ） (2026-07-13T01:33:18Z)
• FourierQK: Spectral Preprocessing of Query-Key Projections Improves Transformer Attention [0.0]
  Q/Kプロジェクションのスペクトル前処理により、文字レベルの言語モデリングにおけるトランスフォーマーの注意が向上する。 位置漏洩に対するシャッフルバリデーション診断により, 結果が検証された。 この研究は、両スペクトルの注意と単語スケールのトークン化における因果的注意のアーキテクチャ的境界を定義する。
  論文  参考訳（メタデータ） (2026-07-08T14:43:00Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Deformable Wiener Filter for Future Video Coding [55.405068056883614]
  We propose a deformable Wiener Filter (DWF) for in-loop filters in Versatile Video Coding (VVC)。 局所特性と非局所特性を組み合わせて、ウィナーフィルタ理論に基づいてフィルタ係数を指導的に訓練する。 平均で1.16%、1.92%、および2.67%のビットレートの節約を実現している。
  論文  参考訳（メタデータ） (2026-06-01T02:24:07Z)
• Entropy Across the Bridge: Conditional-Marginal Discretization for Flow and Schrödinger Samplers [68.9946633641494]
  フローマッチングとシュルディンガーブリッジは確率を定義するが、その推論格子は通常一点拡散から受け継がれる。 終端条件付き橋梁形状を境界流の進化から分離し, 橋梁を識別する条件付きエントロピーレートを導出する。 EDM/CIFAR-10では、エントロピックな時間分散は5段階のFID(186.3 pm 4.0対200.5 pm 2.9対cosineの238.0 pm 5.3)が最適である。
  論文  参考訳（メタデータ） (2026-05-15T16:11:10Z)
• Anti-Oversmoothing in Deep Vision Transformers via the Fourier Domain Analysis: From Theory to Practice [111.47461527901318]
  Vision Transformer (ViT) は先日,コンピュータビジョン問題における有望性を実証した。 ViTは観察された注意崩壊やパッチの均一性のために、深さが増加するにつれて急速に飽和する。 所望の低域制限を緩和する2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-03-09T23:55:24Z)
• Training Compact CNNs for Image Classification using Dynamic-coded Filter Fusion [139.71852076031962]
  動的符号化フィルタ融合(DCFF)と呼ばれる新しいフィルタプルーニング法を提案する。 我々は、効率的な画像分類のために、計算経済的および正規化のない方法でコンパクトなCNNを導出する。 我々のDCFFは、72.77MのFLOPと1.06Mのパラメータしか持たないコンパクトなVGGNet-16を導出し、トップ1の精度は93.47%に達した。
  論文  参考訳（メタデータ） (2021-07-14T18:07:38Z)
• Filter Grafting for Deep Neural Networks: Reason, Method, and Cultivation [86.91324735966766]
  フィルタは現代の畳み込みニューラルネットワーク(CNN)のキーコンポーネントである 本稿では,この目的を達成するためにフィルタグラフト(textbfMethod)を導入する。 我々は,フィルタの情報を測定するための新しい基準と,グラフトされた情報をネットワーク間でバランスをとるための適応重み付け戦略を開発する。
  論文  参考訳（メタデータ） (2020-04-26T08:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。