論文の概要: FLASHSWIN: Unlocking Large Windows and Dense Tokens in Swin Vision Transformers with Memory Efficient Attention

• arxiv url: http://arxiv.org/abs/2610.04664v1
• Date: Sat, 03 Oct 2026 17:24:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 17:55:37.208658
• Title: FLASHSWIN: Unlocking Large Windows and Dense Tokens in Swin Vision Transformers with Memory Efficient Attention
• Title（参考訳）: FLASHSWIN: メモリ効率の良いスイニング変換器で大きなWindowsとDenseトークンをアンロックする
• Abstract要約: FLASHSWINは、スコア行列を具体化せずに正確にソフトマックスアテンションを計算するFlashAttention実装に置き換える。 FLASHSWINは、位置情報をウィンドウローカルで学習可能な2D RoPEとして復元する。
• 参考スコア（独自算出の注目度）: 4.901333646228992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-resolution vision backbones have long been forced to trade away local token density to afford larger receptive fields. Hierarchical Swin transformers impose this compromise because standard windowed attention materializes an $M^2\times M^2$ score matrix per window, incurring $O(M^4)$ memory as windows or token grids grow. Furthermore, Swin adds a learned relative-position bias elementwise to attention scores, requiring full materialization of the score matrix and its gradient. This keeps Swin and SwinV2 trapped in a small-window($M=8,16$), coarse-token regime with patch size $4\times4$ ($p=4$), limiting performance for fine-grained tasks. We introduce FLASHSWIN, which replaces standard windowed attention with a FlashAttention implementation that computes exact softmax attention without materializing the score matrix, reducing per-window memory from $O(M^4)$ to $O(M^2)$. This enables higher token density and larger receptive fields without inflating memory overhead. Training memory is flat across window sizes: at a $32\times32$ window, FLASHSWIN-T requires only $12.4$\,GB, unchanged from $8\times8$, compared to $70/90$\,GB for SwinV2/V1-T. However, applying FlashAttention directly to Swin creates a trade-off: bypassing the score matrix precludes Swin's additive relative-position bias, forfeiting spatial information in exchange for memory efficiency. FLASHSWIN restores position information as window-local learnable 2D RoPE, making large windows and dense token grids both affordable and accurate. At matched scale, FLASHSWIN-T outperforms Swin variants. With dense tokens and wide windows ($p=2,M=32$), the same Tiny model reaches $84.1\%$ ImageNet-1K, $44.1$ COCO box AP, and $47.28$ ADE20K mIoU---gains of $+1.3$, $+5.1$, and $+1.82$ over SwinV2-T at $M=16$, respectively. At fixed $M=32$, halving the patch size yields roughly $3\times$ larger gains in boundary quality than in mIoU.
• Abstract（参考訳）: 高解像度の視覚バックボーンは、より広い受容場を得るために、長い間、局所的なトークン密度を交換せざるを得なかった。 階層型スウィン変換器は、標準的な窓付きアテンションが窓当たりM^2\times M^2$スコア行列を具現化し、ウィンドウやトークングリッドが大きくなるにつれて、メモリが$O(M^4)$になるため、この妥協を強制する。 さらに、スウィンは学習された相対配置バイアスを注意点に有意に付加し、スコア行列とその勾配の完全な物質化を必要とする。 これにより、SwinとSwinV2は小さなウィンドウ($M=8,16$)に閉じ込められ、パッチサイズが4\times4$(p=4$)で、きめ細かいタスクのパフォーマンスが制限される。 FLASHSWINは、標準のウィンドウアテンションをFlashAttention実装に置き換え、スコア行列を具体化せずに正確にソフトマックスアテンションを計算し、ウィンドウごとのメモリを$O(M^4)$から$O(M^2)$に還元する。 これにより、メモリオーバーヘッドを膨らませることなく、より高いトークン密度とより大きな受信フィールドが可能になる。 FLASHSWIN-Tは、SwinV2/V1-Tでは70ドル90ドル、SwinV2/V1-Tでは12.4ドル、SwinV2/V1-Tでは8.8ドルと変わらない。 しかし、FlashAttentionを直接Swinに適用することで、スコア行列をバイパスすることで、Swinの付加的な相対配置バイアスを回避し、メモリ効率と引き換えに空間情報を汚染する、というトレードオフが生じる。 FLASHSWINは、位置情報をウィンドウローカルで学習可能な2D RoPEとして復元する。 一致するスケールでは、FLASHSWIN-TはSwinのバリエーションより優れている。 密集したトークンと幅の広いウィンドウ(p=2,M=32$)で、同じTinyモデルは、イメージNet-1K$84.1\%、COCOボックスAP$4.1$、ADE20K mIoU--$+1.3$、$+5.1$、$+1.82$ over SwinV2-T at $M=16$に達する。 固定$M=32$で、パッチサイズを半減すると、mIoUよりも境界品質が3ドル以上上がる。

関連論文リスト

• Maglev: Sliding Recurrent Memory [8.788753986099902]
  我々のアーキテクチャは、スライディングウインドウの注意を一般化する固定サイズのメモリを備えたリカレントトランスフォーマーアーキテクチャである。 私たちは、$m_t$と$m'_t$を一致させるメモリ一貫性の損失でトレーニングします。
  論文  参考訳（メタデータ） (2026-08-03T20:40:49Z)
• More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
  対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。 トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。 明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
  論文  参考訳（メタデータ） (2026-07-10T10:35:24Z)
• ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
  LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。 ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-26T20:39:19Z)
• Gated-SwinRMT: Unifying Swin Windowed Attention with Retentive Manhattan Decay via Input-Dependent Gating [0.6945765172815976]
  Gated-SwinRMTは、Swin Transformerのシフトウインドウの注意とRetentive Networks (RMT)のマンハッタン距離空間減衰を組み合わせたハイブリッド・ビジョン・トランスフォーマーのファミリーである。 Gated-SwinRMT-SWATは、ソフトマックスにシグモイド活性化を代用し、乗算後空間崩壊を伴うバランスの取れたALiBi斜面を実装し、SwiGLUを介して値投影をゲートする。 Gated-SwinRMT-Retentionは、追加の対数空間崩壊バイアスでソフトマックス正規化保持を維持し、明示的なG1シグモイドゲートを組み込む
  論文  参考訳（メタデータ） (2026-04-07T16:12:31Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• Global Context Vision Transformers [78.5346173956383]
  我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。 本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。 提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-06-20T18:42:44Z)
• Green Hierarchical Vision Transformer for Masked Image Modeling [54.14989750044489]
  階層型視覚変換器(ViT)を用いたマスク付き画像モデリングのための効率的な手法を提案する。 グループウィンドウのアテンションスキームは,ディバイド・アンド・コンカエ戦略に従って設計する。 グループ化されたパッチに対する注意の全体的なコストを最小限に抑えるため、動的プログラミングアルゴリズムによるグループ化戦略をさらに改善する。
  論文  参考訳（メタデータ） (2022-05-26T17:34:42Z)
• Global Interaction Modelling in Vision Transformer via Super Tokens [20.700750237972155]
  ウィンドウベースのローカルアテンションは、最近の研究で採用されている主要なテクニックの1つである。 本稿では、ローカルウィンドウとスーパートークンと呼ばれる特別なトークンを自己注意のために採用した新しい等方的アーキテクチャを提案する。 Imagenet-1Kの標準画像分類では、提案されたSuper tokens based transformer (STT-S25) は83.5%の精度を実現している。
  論文  参考訳（メタデータ） (2021-11-25T16:22:57Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。