論文の概要: Beyond Quadratic Attention: Separable Gaussian Operators for ODE Vision Transformers

• arxiv url: http://arxiv.org/abs/2611.08236v1
• Date: Thu, 05 Nov 2026 16:17:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.574561
• Title: Beyond Quadratic Attention: Separable Gaussian Operators for ODE Vision Transformers
• Title（参考訳）: 二次的注意を超える:ODEビジョン変換器のための分離可能なガウス演算子
• Abstract要約: セルフアテンションはトークンカウントの2次コストを持ち、Transformerが入力解像度でスケールできる範囲を制限する。 我々は、高密度自己アテンションを軸分解したガウス核の学習混合に置き換えるガウス空間作用素であるSSoGを紹介する。
• 参考スコア（独自算出の注目度）: 2.0973843981871574
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-attention carries a quadratic cost in token count, which limits how far Vision Transformers can scale with input resolution. We introduce SSoG, a separable sum-of-Gaussians spatial operator that replaces dense self-attention with a learned mixture of axis-factorized Gaussian kernels, reducing the per-layer cost from $\mathcal{O}(N^2)$ to subquadratic in $N$. Unlike dot-product self-attention, whose Lipschitz constant is unbounded outside a compact input domain, SSoG with fixed kernels is globally Lipschitz continuous, which, via the Picard--Lindelöf theorem, guarantees that the continuous-depth variant has a unique solution on the whole integration interval, a global guarantee that dense-attention counterparts lack in general. On CIFAR-100 at $224\times224$, in a matched discrete-Transformer setting and in the continuous setting, SSoG improves Top-1 accuracy by 2.2--4.1 points across three model widths while using 8.8--16.6\% fewer parameters, with depth and training recipe held fixed. In a looped-Transformer setting, SSoG improves Top-1 accuracy by 5.4--8.1 points. We further probe inference-time scaling by evaluating on inputs up to $1024\times1024$ at matched batch size: in the continuous-depth (Neural ODE) architecture, SSoG reaches up to 154\% higher throughput and over 60\% lower peak memory than dense attention, with the gap widening as resolution grows, consistent with the difference in asymptotic cost. In the discrete and looped settings, SSoG also achieves over 30\% higher throughput than dense attention at this resolution. Together, these results establish SSoG as a practical, parameter-efficient, and theoretically grounded alternative to dense attention across discrete, weight-shared, and continuous-depth Transformer variants.
• Abstract（参考訳）: セルフアテンションはトークンカウントの2次コストを持ち、Vision Transformerが入力解像度でスケールできる範囲を制限する。 分離可能なガウス空間作用素であるSSoGを導入し、高密度自己アテンションを軸分解したガウス核の学習混合に置き換え、層当たりのコストを$\mathcal{O}(N^2)$から$N$のサブクワッドラティックに還元する。 コンパクトな入力領域の外側でリプシッツ定数が非有界なドット積自己アテンションとは異なり、固定された核を持つSSoGは、大域的にリプシッツ連続であり、ピカール=リンデレフの定理により、連続深度変種が積分区間全体において一意的な解を持つことを保証する。 CIFAR-100の224\times224$では、一致した離散変換器の設定と連続的な設定で、SSoGは8.8-16.6\%のパラメータを使用しながら、Top-1の精度を3つのモデル幅で2.2--4.1ポイント改善する。 ループ変換器の設定では、SSoGはTop-1の精度を5.4～8.1ポイント向上する。 連続深度(Neural ODE)アーキテクチャでは、SSoGのスループットは154\%、ピークメモリは60\%で、解像度が大きくなるにつれてギャップが拡大し、漸近的コストの差と一致している。 離散的かつループ化された設定では、SSoGは、この解像度での集中的な注意よりも30倍以上のスループットを達成する。 これらの結果はSSoGを、離散的、重み付き、連続的な深度トランスフォーマーの変種にまたがる、厳密な注意の代替として、実用的で、パラメータ効率が高く、理論的に根拠のあるものとして確立する。

関連論文リスト

• Symmetry-Preserving and Scalable Variational Circuits for the Lattice Gross-Neveu Model [2.5315729179239637]
  我々は,$(+1)$次元格子Gross-Neveuモデルにおいて,基底状態とセクター分解励起状態の変分準備について検討した。 本研究では,全フェルミオン数または各フレーバー数を保存する固定回路を構築し,問題固有のスケーラブルな適応型量子固有解器を構築した。
  論文  参考訳（メタデータ） (2026-10-21T18:00:09Z)
• Learnable Splines for Unstructured Neural Operators [78.26652287941543]
  L-SplineFNOは、FNOバックボーンとスパースで学習可能なテンソル生成B-Splineトランスファーを結合するメモリ効率のよい神経オペレータである。 ベースライン演算子よりもはるかに少ないメモリと計算を必要とするが、予測精度は高い。 また、ゼロショット超解像と効率的な閉形式空間微分もサポートする。
  論文  参考訳（メタデータ） (2026-10-15T15:15:31Z)
• Root-system structure of sloppiness in passive Gaussian metrology [0.0]
  量子フィッシャー行列がランクを失うと、$n$モードの圧縮プローブの受動的変換は局所的に識別不可能になる。 我々は、$mathrmSp(2n,mathbbR)/mathrmU(n)$の$C_n$制限根系が、この厳密性を支配することを示す。 標準ベースで等級が$r_1,ldots,r_n$の場合、根は$r_j$と$r_jpm r_kである。
  論文  参考訳（メタデータ） (2026-09-29T02:56:42Z)
• DISTA-Net++: Rethinking Infrared Small Target Unmixing Beyond Sub-Pixel Separation [50.40058918817059]
  長距離赤外線画像は、回折制限されたシグネチャが1つの識別不能なブロブに融合する密度の高いターゲットクラスタに対向する。 DisTA-Net++は2つの相乗的なメカニズムで動的に展開するバックボーンをアンカーする。 DisTA-Net++は、CSO-mAPが16.15%、62.96%の精度で、計算の6分の1に過ぎない。
  論文  参考訳（メタデータ） (2026-09-16T14:57:11Z)
• Solve for the Hyperparameter, Skip the Search: Kolmogorov-Optimal Scaling Laws for Spline Regression [0.0]
  クローズドな形での最適解法は、徹底的な探索が到達した精度を計算のごく一部で解くことができる。 KOREは2つのパイロット解像度に適合し、バイアスとノイズスケールのレバレッジ校正された2x2システムを解く。
  論文  参考訳（メタデータ） (2026-06-22T16:41:10Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• Hierarchical Transformer Preconditioning for Interactive Physics Simulation [28.137076331332413]
  階層型トランスフォーマープレコンディショナー(Hierarchical Transformer Preconditioner)は、弱い許容率のH行列分割に固定されたニューラルプレコンディショナーである。 ネットワークは低ランクの遠距離因子を通して逆をモデル化する。 高速道路の接続を利用して、奥行きを隔ててコンテキストを伝播する。
  論文  参考訳（メタデータ） (2026-05-13T11:02:27Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• On Convergence of Incremental Gradient for Non-Convex Smooth Functions [63.51187646914962]
  機械学習とネットワーク最適化では、ミスの数と優れたキャッシュを最小化するため、シャッフルSGDのようなアルゴリズムが人気である。 本稿では任意のデータ順序付けによる収束特性SGDアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-05-30T17:47:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。