論文の概要: Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention

• arxiv url: http://arxiv.org/abs/2605.26355v1
• Date: Mon, 25 May 2026 22:04:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.483123
• Title: Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention
• Title（参考訳）: エネルギーゲーテッドアテンションとウェーブレット位置エンコーディング:トランスフォーマーアテンションのための補完的インダクティブビアーゼ
• Authors: Athanasios Zeris,
• Abstract要約: 標準的な注意力に欠ける2つの相補的帰納バイアスを同定する。 正当性と局所性は相補的帰納バイアスであり、それぞれが単独では満たせないギャップに対処する。 この超添加性は、2つの独立したトレーニングランで観察され、中心的な経験的発見である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard transformer attention computes pairwise token similarity but treats all tokens as equally salient and all positions as equally local, regardless of the informational structure of the input. We identify two complementary inductive biases that standard attention lacks: energy salience (which tokens concentrate informational energy, learned end-to-end without explicit frequency decomposition) and scale-selective locality (how far positional influence extends at each frequency, implemented via Morlet wavelet encoding). We address both with two simple components. Energy-Gated Attention (EGA) gates value aggregation by a learned energy estimate of key token embeddings, computed via a single linear projection; it selects what to attend to. Morlet Positional Encoding (MoPE) replaces fixed sinusoidal encodings with learned Gaussian-windowed wavelets that adapt the joint position-frequency localization to the corpus; it specifies where attention operates at each scale. On TinyShakespeare, EGA alone achieves +0.092 validation loss improvement over standard attention (+0.103 over Phase 1-3 baseline); MoPE alone is -0.032 (below baseline as a standalone encoding); but their combination achieves +0.119 -- more than the sum of parts. This superadditivity, observed across two independent training runs, is the central empirical finding: salience and locality are complementary inductive biases, each addressing a gap the other cannot fill alone. Ablations confirm that structured spectral priors (Morlet wavelet gates, scale-initialized heads, fixed sinusoidal PE) consistently underperform their unconstrained learned counterparts, while complementary learned components interact superadditively. All experiments are at small scale (<=6M parameters, character-level benchmarks, single seed); larger-scale multi-seed validation is the most important direction for future work.
• Abstract（参考訳）: 標準トランスフォーマーアテンションは、ペアワイズトークンの類似性を計算しますが、入力の情報構造に関係なく、全てのトークンを等しく、全ての位置を等しく局所的に扱います。 エネルギーサリエンス(情報エネルギーを集中させるトークン)とスケール選択的局所性(モーレットウェーブレット符号化によって実装される各周波数における位置の影響がいかに拡大するか)の2つの相補的帰納バイアスを同定する。 どちらも2つのシンプルなコンポーネントで対処します。 EGA(Energy-Gated Attention)は、単一の線形射影によって計算されたキートークンの埋め込みの学習エネルギー推定によって、値の集約をゲートする。 Morlet Positional Encoding (MoPE) は固定正弦波エンコーディングを学習されたガウス風ウェーブレットに置き換える。 TinyShakespeareでは、EGAだけで標準の注意点よりも0.092以上の検証損失の改善(フェーズ1-3ベースラインより+0.103)を達成している。 塩分と局所性は相補的帰納バイアスであり、それぞれが単独では満たせないギャップに対処する。 アブレーションにより、構造化されたスペクトル前駆体(分子ウェーブレットゲート、スケール初期化ヘッド、固定正弦波PE)は、非制約の学習成分を常に過小評価し、相補的な学習成分は過剰に相互作用することを確認した。 全ての実験は、小規模 (=6Mパラメータ、文字レベルベンチマーク、シングルシード) であり、より大規模なマルチシード検証は、将来の作業において最も重要な方向である。

関連論文リスト

• Energy-Gated Attention: Spectral Salience as an Inductive Bias for Transformer Attention [0.0]
  乱流流体力学では、コヒーレント構造は全エネルギーの不均等な部分を持ち、全ての輸送を支配している。 我々は,トークンが変圧器の注意に類似する役割を担っていることを提案する。 本稿では,EGA(Energy-Gated Attention)がキートークン埋め込みのスペクトルエネルギーによる値集約を実現することを示す。
  論文  参考訳（メタデータ） (2026-05-21T00:21:14Z)
• LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
  連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。 このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。 LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
  論文  参考訳（メタデータ） (2026-01-30T06:44:33Z)
• Focus What Matters: Matchability-Based Reweighting for Local Feature Matching [6.361840891399624]
  本稿では,学習可能なバイアス項をアテンションロジットに同時に組み込む新しいアテンション再重み付け機構を提案する。 3つのベンチマークデータセットを用いて実験を行い,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-05-04T15:50:28Z)
• Hadamard Attention Recurrent Transformer: A Strong Baseline for Stereo Matching Transformer [53.62241289871256]
  Adamard Attention Recurrent Stereo Transformer(HART)について紹介する。 HARTには、以下のコンポーネントを組み込んだ新しいアテンションメカニズムが含まれている。 反映的な領域では、HARTはKITTI 2012ベンチマークで1位にランクインした。
  論文  参考訳（メタデータ） (2025-01-02T02:51:16Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• EcoFormer: Energy-Saving Attention with Linear Complexity [40.002608785252164]
  Transformerはシーケンシャルデータをモデル化する変換フレームワークである。 本研究では,高次元ソフトマックスアテンションにカスタマイズした新しいバイナライゼーションパラダイムを提案する。 EcoFormerは、標準の注意を払って、一貫して同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-09-19T13:28:32Z)
• Rethinking Query-Key Pairwise Interactions in Vision Transformers [5.141895475956681]
  本稿では,問合せキーの対の相互作用を排除し,注意重みを求めるために計算効率の高い相性ゲートを用いるキーオンリーの注意を提案する。 我々は、ImageNet分類ベンチマークのパラメータ限定設定において、最先端の精度に達する新しい自己注意モデルファミリーLinGlosを開発した。
  論文  参考訳（メタデータ） (2022-07-01T03:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。