論文の概要: LiSA: Linear Stochastic Attention for Long-Range Visual Modeling
- arxiv url: http://arxiv.org/abs/2611.04216v2
- Date: Wed, 04 Nov 2026 23:12:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.356044
- Title: LiSA: Linear Stochastic Attention for Long-Range Visual Modeling
- Title（参考訳）: LiSA:Long-Range Visual Modelingのための線形確率的注意
- Abstract要約: 自己アテンションは現代のシーケンスモデリングの標準となり、トランスフォーマーは長距離依存をモデル化できるようになった。
最近の研究は、自己注意の線形変種、すなわちソフトマックス作用素のカーネル近似を導入することで、この制限に対処している。
リニアアテンション(LiSA)は,高次トークンインタラクションを実現するリニアアテンションプラグインモジュールである。
- 参考スコア（独自算出の注目度）: 29.569453126109305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-attention has become the standard for modern sequence modeling, enabling Transformers to model long-range dependencies across a wide range of modalities. Despite these advances, its quadratic cost with respect to sequence length remains a significant computational bottleneck. Recent work addresses this limitation by introducing linear variants of self-attention, namely with kernel approximations of the softmax operator. However, their first-order aggregation restricts expressivity and struggles to capture higher-order structure. We propose Linear Stochastic Attention (LiSA), a linear attention plug-in module that enables higher-order token interactions via a stochastic diffusion process based on truncated random walks. LiSA incorporates adaptive locality, favoring semantically similar neighbors to preserve fine-grained structures, while maintaining stable and efficient training. We conduct extensive experiments on classification, semantic segmentation, and object detection tasks and show improved results over state-of-the-art methods.
- Abstract（参考訳）: 自己アテンションは現代のシーケンスモデリングの標準となり、トランスフォーマーは広範囲のモダリティにわたる長距離依存をモデル化できるようになった。
これらの進歩にもかかわらず、シーケンス長に関する2次コストは、依然として重要な計算ボトルネックである。
最近の研究は、自己注意の線形変種、すなわちソフトマックス作用素のカーネル近似を導入することで、この制限に対処している。
しかし、その一階の集約は表現性を制限し、高階の構造を捉えるのに苦労する。
ランダムウォークに基づく確率拡散プロセスを通じて高次トークン相互作用を可能にする線形アテンションプラグインモジュールLiSAを提案する。
LiSAは適応的な局所性を持ち、セマンティックに類似した隣り合いを好み、きめ細かい構造を保ちつつ、安定かつ効率的な訓練を維持している。
分類,セマンティックセグメンテーション,オブジェクト検出タスクについて広範な実験を行い,最先端の手法よりも優れた結果を示す。
関連論文リスト
- Switching Linear Attention [15.268696747051974]
線形アテンションは、メモリフットプリントを一定に保った効率的なリカレント計算を可能にする。
このギャップを埋める新しいシーケンス層である Switching Linear Attention (SwiLA) を導入する。
SwiLAは、連想リコール、コンテキスト内言語学習、言語モデリングベンチマークなど、強いパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-09-30T05:37:13Z) - Preference-Drift-Aware Subsequence Learning and Hierarchical Context Fusion for Long-Sequence Generative Recommendation [20.33597628832828]
時系列生成レコメンデーション手法は、ユーザのインタラクションシーケンスを自己回帰的にモデル化し、次のitem表現を生成する。
既存の手法は、効率的なフルシーケンスモデリングとターゲット認識コンテキスト検索の2つのカテゴリに分類される。
提案手法は,長文生成推薦のための優先区切り型サブシーケンス学習と階層型コンテキスト融合である。
論文 参考訳（メタデータ） (2026-09-11T08:01:29Z) - Dissecting Linear Recurrent Models: How Different Gating Strategies Drive Selectivity and Generalization [5.057995083193427]
線形リカレントニューラルネットワークは、トランスフォーマーのソフトマックスアテンションメカニズムの効率的な代替手段として登場した。
既存のベンチマークタスクは、大きな違いを明らかにするには単純すぎるか、実験のために過度にリソースを消費する。
本稿では,SelectivBenchを紹介した。SelectivBenchは軽量でカスタマイズ可能な,シーケンスモデルを体系的に評価するためのベンチマークタスクである。
論文 参考訳（メタデータ） (2026-01-18T21:49:21Z) - Higher-order Linear Attention [59.92962330635185]
スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。
本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
論文 参考訳（メタデータ） (2025-10-31T07:54:37Z) - Log-Linear Attention [81.09631871212211]
本稿では,線形注意の効率とソフトマックス注意の表現性をバランスさせる注意機構である対数線形注意を開発する。
特定の成長関数を用いて、対数線形アテンションは、計算コストが列長で対数線形である類似のマトゥルリッチ並列形式を許容することを示す。
ログ線形アテンションは一般的なフレームワークであり、既存の線形アテンションのバリエーションの上に適用することができる。
論文 参考訳（メタデータ） (2025-06-05T08:44:51Z) - Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。
提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
論文 参考訳（メタデータ） (2024-06-12T12:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。