論文の概要: Softmax Attention on Gaussian Mixtures: Linear When It Can, Selective When It Must

• arxiv url: http://arxiv.org/abs/2610.11798v1
• Date: Thu, 08 Oct 2026 12:09:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.015967
• Title: Softmax Attention on Gaussian Mixtures: Linear When It Can, Selective When It Must
• Title（参考訳）: ガウス混合に対するSoftmaxの注意: 可能ならばリニア、必要ならば選択
• Abstract要約: ソフトマックス・アテンションは、勾配に基づく手法によって、様々な統計的タスクに対する最適解を表現し、学習することができることを示す。 本研究は,2つの相補的なソフトマックスアテンション機能,すなわち線形タスクを,より単純な線形タスクと同等に効率的に回復できることを示す。
• 参考スコア（独自算出の注目度）: 14.303906705171356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Softmax attention, at the heart of Transformers, has demonstrated remarkable capabilities. Yet its underlying mechanisms remain only partially understood. Recent theoretical work studies Gaussian prompts, where the infinite-prompt limit reduces softmax attention to a linear map, but also removes the query-dependent selection that distinguishes it from linear attention. This work studies the infinite-prompt limit of softmax attention on Gaussian mixtures, which retain the tractability of Gaussian data while introducing latent structure, multimodality, and nonlinear dependencies. We show that softmax attention can represent and learn, via gradient-based methods, optimal solutions to a range of statistical tasks, including supervised classification and denoising. Our results highlight two complementary capabilities of softmax attention: it can recover linear tasks as effectively as its simpler linear counterpart, while also exploiting query-dependent context selection to solve nonlinear tasks beyond the reach of linear attention.
• Abstract（参考訳）: Transformersの中心にあるSoftmaxの注目は、驚くべき機能を示している。 しかし、その根底にあるメカニズムは部分的にしか理解されていない。 最近の理論的研究では、無限プロンプト極限は線形写像へのソフトマックスの注意を減少させるが、線形の注意と区別するクエリ依存の選択を除去する。 本研究は, ガウスデータのトラクタビリティを保ちながら, 潜在構造, マルチモーダリティ, 非線形依存を導入したガウス混合に対するソフトマックスアテンションの無限プロンプト限界について検討する。 ソフトマックス・アテンションは、勾配に基づく手法を用いて、教師付き分類や認知を含む様々な統計課題に対する最適解を表現し、学習することができることを示す。 本研究は,線形タスクを簡易な線形タスクと同様に効率的に回復すると同時に,クエリ依存コンテキスト選択を利用して非線形タスクを線形アテンションの範囲を超えて解くという,ソフトマックスアテンションの相補的な2つの機能を強調した。

関連論文リスト

• SoLA-Vision: Fine-grained Layer-wise Linear Softmax Hybrid Attention [50.99430451151184]
  線形注意はコストをO(N)に還元するが、圧縮された状態表現はモデリング能力と精度を損なう。 本稿では,視覚表現学習における線形およびソフトマックスの注意を対比する分析的研究について述べる。 フレキシブルな層状ハイブリッドアテンションバックボーンであるSoLA-Visionを提案する。
  論文  参考訳（メタデータ） (2026-01-16T10:26:53Z)
• Softmax as Linear Attention in the Large-Prompt Regime: a Measure-based Perspective [16.076157672455867]
  有限プロンプトと無限プロンプトの両方の下で単層ソフトマックスアテンションを研究するための測度に基づくフレームワークを開発する。 すなわち、ガウスの入力に対しては、ソフトマックス作用素が無限プロンプト極限に収束し、基底となる入力-token測度に作用する線型作用素に収束するという事実に頼っている。
  論文  参考訳（メタデータ） (2025-12-12T18:54:52Z)
• Statistical Advantage of Softmax Attention: Insights from Single-Location Regression [0.0]
  大規模言語モデルにおける代替案に対するソフトマックスの優位性について検討する。 ソフトマックスがベイズリスクを達成するのに対し、線形注意は基本的に不足していることを示す。 勾配に基づくアルゴリズムによる最適化の関連について論じる。
  論文  参考訳（メタデータ） (2025-09-26T06:21:30Z)
• On the Expressiveness of Softmax Attention: A Recurrent Neural Network Perspective [3.1044138971639743]
  ソフトマックス注意の主な欠点は、シーケンス長に関する二次記憶要件と計算複雑性である。 ソフトマックスの非線形性を置き換えることで、ソフトマックスの2次ボトルネックを回避するために、線形アテンションや同様の手法が導入された。 本研究は,線形アテンションがソフトマックスアテンションの繰り返し形式を導出することにより,ソフトマックスアテンションの近似であることを示す。
  論文  参考訳（メタデータ） (2025-07-31T15:10:03Z)
• Degrees of Freedom for Linear Attention: Distilling Softmax Attention with Optimal Feature Efficiency [37.02934235737917]
  統計的自由度の概念を用いて線形注意における特徴次元を決定するための原理的手法を提案する。 本手法は, 計算予算の固定化により, 誤差が小さくなることを示す。 我々の発見はまた、注意機構の複雑さが層間でどのように進化するかについての洞察を与える。
  論文  参考訳（メタデータ） (2025-07-04T06:59:17Z)
• Bridging the Divide: Reconsidering Softmax and Linear Attention [116.34723260730405]
  線形注意の限界を理解し緩和する2つの重要な視点を提示する。 線形注意は単射ではなく、異なるクエリベクトルに同一の注意重みを割り当てる傾向があることを証明した。 第2に,線形の注意が不足するソフトマックスの注意を成功させるためには,効果的な局所モデリングが不可欠であることを確認した。
  論文  参考訳（メタデータ） (2024-12-09T15:44:22Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。