論文の概要: Flow-based Spectral Kernel Learning for Nonstationary Attention

• arxiv url: http://arxiv.org/abs/2610.30465v1
• Date: Wed, 21 Oct 2026 21:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.141478
• Title: Flow-based Spectral Kernel Learning for Nonstationary Attention
• Title（参考訳）: 非定常注意のためのフローベーススペクトルカーネル学習
• Abstract要約: フローベーススペクトルカーネルアテンション(FSKA)は、表現型非定常アテンションカーネルを学習するためのフレームワークである。 FSKAは既存のアテンション機構よりも競争力や性能の向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 48.20853094596524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kernelized attention provides a useful perspective for understanding self-attention as a similarity-based aggregation mechanism, but existing approaches often rely on fixed or stationary kernels, limiting their ability to adapt the similarity structure to complex token interactions. In this paper, we propose flow-based spectral kernel attention (FSKA), a framework for learning expressive nonstationary attention kernels. FSKA formulates kernelized attention through spectral density learning and parameterizes the resulting bivariate spectral density with normalizing flows. This design enables flexible and regularizable kernel learning while remaining compatible with scalable linear-attention computation. We further show that expressive kernel learning enables a simplified attention design with removed query--key projections and fixed orthogonal value projections, resulting in a more parameter-efficient architecture. Controlled experiments on classification, ablation, and scalability profiling show that FSKA achieves competitive or improved performance over existing attention mechanisms, while reducing projection-related trainable parameters by approximately $40\%$--$47\%$ compared with most baselines and maintaining favorable linear-attention memory scaling. Code Available: https://github.com/ziyang18/FSKA.
• Abstract（参考訳）: カーネル化された注意は、類似性に基づく集約メカニズムとして自己注意を理解する上で有用な視点を提供するが、既存のアプローチは固定されたカーネルや定常的なカーネルに依存し、複雑なトークン相互作用に類似性構造を適用する能力を制限する。 本稿では,フローベーススペクトルカーネルアテンション(FSKA)を提案する。 FSKAはスペクトル密度学習を通じてカーネル化された注意を定式化し、結果として生じる二変量スペクトル密度を正規化フローでパラメータ化する。 この設計は、スケーラブルなリニアアテンション計算との互換性を維持しながら、柔軟で正規化可能なカーネル学習を可能にする。 さらに、表現型カーネル学習は、クエリキープロジェクションと固定直交値プロジェクションを省略した簡易なアテンション設計を可能にし、よりパラメータ効率の良いアーキテクチャを実現することを示す。 分類、アブレーション、スケーラビリティのプロファイリングに関する制御された実験により、FSKAは既存の注意機構よりも競争力や性能の向上を実現し、プロジェクション関連のトレーニング可能なパラメータをほとんどのベースラインと比較して約40 %$--47 %$に削減し、好ましいリニアアテンションメモリのスケーリングを維持する。 コード提供: https://github.com/ziyang18/FSKA。

関連論文リスト

• Exact Linear Attention [0.0]
  Exact Linear Attention (ELA) はカーネル関数の正確な分解特性を利用してトランスフォーマー注意のための線形計算複雑性を実現する。 ELAは最大で6倍高速な復号化とKVキャッシュメモリ使用率の75%削減を実現している。 我々は、線形アテンション原理を視覚モデルに拡張し、最大4.3倍のGPU推論速度と7.9倍のパラメータ削減を競合検出精度で達成するYOLO-LATを得る。
  論文  参考訳（メタデータ） (2026-05-13T08:06:48Z)
• Amortized Spectral Kernel Discovery via Prior-Data Fitted Network [0.0]
  本稿では,事前学習したPFNのスペクトル発見を非結合的に行うための解釈可能性駆動型フレームワークを提案する。 我々は、PFNラプタントを明示的なスペクトル密度推定と対応する定常カーネルにマッピングするデコーダアーキテクチャを提案する。 これにより、最適化ベースのベースラインと比較して、推論時間のオーダー・オブ・マグニチュードが減少する。
  論文  参考訳（メタデータ） (2026-01-29T13:51:26Z)
• SchoenbAt: Rethinking Attention with Polynomial basis [2.319467677328129]
  カーネル化アテンションは、カーネル関数によるシーケンス相関をモデル化することにより、アテンションメカニズムを拡張する。 我々は、点積の核化された注意を基礎として近似するSchoenbergの定理に基づく注意(SchoenbAt)を提案する。 SchoenbAtの非バイアス性および濃度誤差境界の理論的証明は、その効率と精度をカーネル化された注意近似として支持する。
  論文  参考訳（メタデータ） (2025-05-18T06:16:46Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• ESPFormer: Doubly-Stochastic Attention with Expected Sliced Transport Plans [13.695885742446027]
  自己注意は、トレーニング中にいくつかのトークンを過度に集中させ、その結果、準最適情報フローをもたらす可能性がある。 我々は,スライスされた最適輸送に基づく,新しい並列化可能な二重確率的アテンション機構を提案する。 本手法は, 繰り返しシンクホーン正規化を伴わずに二重性を適用し, 効率を著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-11T21:20:48Z)
• Holistic Physics Solver: Learning PDEs in a Unified Spectral-Physical Space [54.13671100638092]
  Holistic Physics Mixer (HPM) は、スペクトルと物理情報を統一された空間に統合するためのフレームワークである。 我々はHPMが精度と計算効率の両面で最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:19:39Z)
• Interpretable Multi-View Clustering Based on Anchor Graph Tensor Factorization [64.00146569922028]
  アンカーグラフの分解に基づくマルチビュークラスタリング法では,分解行列に対する適切なクラスタ解釈性が欠如している。 複数のビューからアンカーグラフを合成するアンカーグラフテンソルを分解するために、非負のテンソル因子分解を用いることにより、この制限に対処する。
  論文  参考訳（メタデータ） (2024-04-01T03:23:55Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Convolutional Spectral Kernel Learning [21.595130250234646]
  逆フーリエ変換に基づく解釈可能な畳み込みスペクトルカーネルネットワーク(textttCSKN)を構築する。 一般化誤差境界を導出し、性能を改善するために2つの正規化器を導入する。 実世界のデータセットを用いた実験は、学習フレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2020-02-28T14:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。