論文の概要: SWAM: Saliency-Weighted Asymmetric Merging for Efficient Vision Transformers
- arxiv url: http://arxiv.org/abs/2611.18057v1
- Date: Fri, 13 Nov 2026 11:34:20 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:25:50.7514
- Title: SWAM: Saliency-Weighted Asymmetric Merging for Efficient Vision Transformers
- Title(参考訳): SWAM:高能率ビジョン変換器用サリエンシ重み非対称マージ
- Abstract要約: 視覚変換器(ViT)は、画像認識タスクにおいて高い性能を達成するが、入力トークンに対する2次自己注意の複雑さは、実用的な展開のための禁断的な計算コストを生み出している。
本稿では,BSM(Bipartite Soft Matching)を拡張したトレーニングベースのトークンマージフレームワークを提案する。
- 参考スコア(独自算出の注目度): 7.419725234099727
- License:
- Abstract: Vision Transformers (ViTs) achieve strong performance on image recognition tasks, yet their quadratic self-attention complexity over input tokens creates prohibitive computational costs for practical deployment. Token reduction methods offer a practical solution by progressively reducing the token sequence during the forward pass. We propose Saliency-Weighted Asymmetric Merging (SWAM), a training-based token merging framework that extends the Bipartite Soft Matching (BSM) with two saliency-aware mechanisms. We introduce a two-step matching formulation in which cosine similarity decides candidate pairs, while a multiplicative maximum saliency penalty regulates their selection for merging. We then further use asymmetric exponential saliency-weighted aggregation, which allows more salient tokens to contribute more strongly to the merged representation. A lightweight MLP-based saliency prediction module (75k parameters per stage, 1% of backbone parameters) supervised via attention rollout is trained end-to-end jointly with a DeiT-Small backbone using a composite cross-entropy, knowledge-distillation, and saliency-alignment objective. On CIFAR-100, TinyImageNet, and ImageNet-100, under a conservative schedule that reduces tokens from 196 to 100 patch tokens, with the CLS token retained throughout, 27.5% FLOPs reduction and 1.35 times speedup, SWAM matches or exceeds baseline across the reported results. Under an aggressive schedule (196 to 70 tokens with the CLS token kept throughout, 33.8% FLOPs reduction, and 1.46 times speedup), accuracy gains are achieved on ImageNet-100 (+0.23%) with minimal losses on CIFAR-100 and TinyImageNet.
- Abstract(参考訳): 視覚変換器(ViT)は、画像認識タスクにおいて高い性能を達成するが、入力トークンに対する2次自己注意の複雑さは、実用的な展開のための禁断的な計算コストを生み出している。
トークン列を前方通過中に段階的に減少させることにより、トークン還元法は実用的な解を提供する。
トレーニングベースのトークンマージフレームワークであるSaliency-Weighted Asymmetric Merging (SWAM)を提案する。
本稿では,コサイン類似度が候補ペアを決定する2段階のマッチング式を導入し,乗算最大値のペナルティがマージの選択を規定する。
さらに、非対称な指数的塩分重み付けを用いて、より健全なトークンが合併表現により強く寄与することを可能にする。
注意ロールアウトによって監視される軽量MLPベースの塩分濃度予測モジュール(ステージ当たり75kパラメータ、バックボーンパラメータの1%)は、複合的クロスエントロピー、知識蒸留、塩分濃度調整の目的を用いて、DeiT-Smallバックボーンと共にエンドツーエンドに訓練される。
CIFAR-100、TinyImageNet、ImageNet-100では、トークンを196から100のパッチトークンに減らし、CLSトークンは27.5%のFLOPと1.35倍のスピードアップ、SWAMは報告された結果のベースラインと一致またはオーバーする。
CLSトークンを通した196から70のトークン、33.8%のFLOPと1.46倍のスピードアップ)のアグレッシブなスケジュールでは、ImageNet-100(+0.23%)では精度が向上し、CIFAR-100とTiny ImageNetでは損失が最小となる。
関連論文リスト
- Semantically Steerable Image Tokenization [70.65642192591649]
GIST (Guided Image Semantic Tokenizer) は、要求されたセマンティック忠実性に向けて操ることのできる適応型トークンである。
セマンティックターゲットをゼロに固定することにより、画像の描写を保存しつつ、再構成ターゲットを緩和して画素の詳細を破棄することができる。
論文 参考訳(メタデータ) (2026-10-11T10:30:13Z) - NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation [53.369637657900235]
NesTokは、動的ビジュアルトークン化ツールに適したネストされた自己アライメントフレームワークである。
標準トレーニングよりも大幅に改善され、ImageNetで0.98のrFIDスコアを達成している。
論文 参考訳(メタデータ) (2026-09-29T05:27:53Z) - MergeOver: Post-Training Token Merging for Recursive Vision Transformers [1.6106006867887395]
MergeOverがToken Merging(ToMe)をSliced Recursive Transformer(SReT)に統合
ImageNet-1Kをベンチマークし、トップ1の精度を1.47ポイント削減した。
GPUでは、バッチサイズ1と16ではピークアクティベーションメモリを37.3%、38.4%削減し、バッチサイズ1ではスループットを21.7%削減するが、バッチサイズ16では21.7%向上する。
論文 参考訳(メタデータ) (2026-08-13T12:15:10Z) - SPARE: Structural Parameter-Free Affinity Regularization for Flow Matching [30.43836162456455]
内部表現の正規化は効果的な加速器として現れているが、既存の手法は相補的なコストで2つのファミリーに分かれている。
構造について提案する。
Free Affinity Regularization (SPARE) は、中間トークンのペアの親和性とクリーンな潜在性の親和性とを一致させる正規化器である。
ImageNetでは、400Kレートの予算でSiTバックボーンと$256の256$で、SPAREはエンコーダ、ヘッド、パラメータを追加せず、トレーニングメモリはわずか0.08GBである。
論文 参考訳(メタデータ) (2026-08-03T09:50:51Z) - Fusion: A Framework for Unified Sequential Token AdaptatIon in VisiOn TraNsformers [2.604903535691346]
視覚変換器は強い画像分類精度を達成するが、ほぼ同じ計算で全ての画像領域を処理する。
近年の適応推論法では、トークンを選択的に圧縮したり、早期に推論を終了することで、このコストを削減している。
トークンマージ、早期終了、トークンプルーニングをコーディネートする統合適応型推論フレームワークであるFusionを導入する。
論文 参考訳(メタデータ) (2026-07-01T15:51:25Z) - AdaTok: Self-Budgeting Image Tokenization with Quality-Preserving Dynamic Tokens [39.0104982235623]
自己予算の離散1DトークンであるAdaTokを提案する。
AdaTokは、トークンをネストしたテールマスクで注文する優先順位付き表現学習と、Adaptive Token Allocationを組み合わせたものだ。
ImageNet-1Kでは、AdaTok-Fullが256トークンでrFID 1.31に達し、AdaTok-Adaptiveは118トークンでrFID 1.50を達成する。
論文 参考訳(メタデータ) (2026-06-05T11:49:28Z) - AdaMerge: Salience-Aware Adaptive Token Merging for Training-Free Acceleration of Vision Transformers [5.739405014622565]
AdaMergeは2つの補完メカニズムに基づいたトークンマージフレームワークである。
ToMe、PiToMe、DSMよりずっと優れています。
論文 参考訳(メタデータ) (2026-05-26T05:35:39Z) - CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization [122.88484422855934]
本稿では,MeanFlowデコーダを備えた1次元因果画像トークンであるCaTokを紹介する。
時間間隔でトークンを選択することで、CaTokは高速なワンステップ生成と高忠実なマルチステップサンプリングの両方をサポートする因果1D表現を学ぶ。
実験により、CaTokはImageNet再構成の最先端の結果を達成し、0.75 FID、22.53 PSNR、0.674 SSIMに達した。
論文 参考訳(メタデータ) (2026-03-06T16:39:17Z) - Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model [69.79418000132995]
AliTokはトークンシーケンスの依存性構造を変更する新しいアラインド・トークンライザである。
AliTokは177Mパラメータしか持たない標準的なデコーダのみの自己回帰モデルで、ImageNet-256ベンチマークで1.44のgFIDと319.5のISを達成している。
論文 参考訳(メタデータ) (2025-06-05T17:45:10Z) - CageViT: Convolutional Activation Guided Efficient Vision Transformer [90.69578999760206]
本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。
私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。
実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
論文 参考訳(メタデータ) (2023-05-17T03:19:18Z) - Parameterization of Cross-Token Relations with Relative Positional
Encoding for Vision MLP [52.25478388220691]
視覚多層パーセプトロン(MLP)はコンピュータビジョンタスクにおいて有望な性能を示す。
トークンミキシングレイヤを使用して、トランスフォーマーが使用するマルチヘッド自己保持機構とは対照的に、クロストークンインタラクションをキャプチャする。
トークン混合のためのクロストークン関係を効率的に符号化する新しい位置空間ゲーティングユニット(PoSGU)を提案する。
論文 参考訳(メタデータ) (2022-07-15T04:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。