論文の概要: ACSAN: All-Convolutional Self-Attention Network Integrating Convolutional Operations with Vision Transformer

• arxiv url: http://arxiv.org/abs/2610.35375v1
• Date: Mon, 26 Oct 2026 12:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.934481
• Title: ACSAN: All-Convolutional Self-Attention Network Integrating Convolutional Operations with Vision Transformer
• Title（参考訳）: ACSAN: 視覚変換器による畳み込み操作を統合した全畳み込み自己注意ネットワーク
• Abstract要約: 本稿では,完全連結型乗算を ViT フレームワークで置き換えるために畳み込み操作を適用した新しい深層学習モデルである All-Convolutional Self-Attention Network (ACSAN) を提案する。 ACSANは、他の最先端手法と同様に、同等または少ないパラメータの標準ViTと比較して優れた分類精度を達成する。
• 参考スコア（独自算出の注目度）: 16.727247457602243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the past few years, Vision Transformer (ViT) has achieved excellent performance in the field of computer vision. However, there still some problems remain. For instance, ViTs heavily rely on large-scale training data since they simply contain a large number of trainable parameters, which slows down their learning efficiency and limits their applicability in resource-constrained scenarios. In this paper, we propose a novel deep learning model, namely All-Convolutional Self-Attention Network (ACSAN), which applies convolution operations to replace fully-connected matrices multiplications in the ViT framework. To implement ACSAN, we firstly design Dynamic Convolutional Self-Attention (DCSA) as the basic module, which employs multi-scale dilated convolutions to generate Query, Key, and Value. We defined spatial self-attention and channel self-attention to generate attention features respectively. The two attention features are finally merged as the output of the DCSA module. Based on DCSA, we then construct the basic ACSAN block. Comparing with ViT, we use DCSA to replace the regular self-attention operations, and use convolution layers to replace MLPs. To evaluate the performance of the proposed method, we train ACSAN on three widely-used image classification databases, i.e. CIFAR-10, CIFAR-100 and ImageNet-1k, from scratch. Experimental results show that ACSAN achieves excellent classification accuracy comparing with standard ViT with comparable or fewer parameters, as well as other state-of-the-art methods. Ablation studies verify that each component contributes positively to the final performance.
• Abstract（参考訳）: 近年,視覚変換器(ViT)はコンピュータビジョンの分野で優れた性能を発揮している。 しかし、いくつかの問題が残っている。 例えば、ViTには大量のトレーニング可能なパラメータが含まれているため、大規模なトレーニングデータに大きく依存しているため、学習効率が遅くなり、リソース制約のあるシナリオでの適用性が制限される。 本稿では,完全連結行列の乗算を ViT フレームワークで置き換えるために畳み込み演算を適用した新しいディープラーニングモデルである All-Convolutional Self-Attention Network (ACSAN) を提案する。 ACSANを実装するために、我々はまず、クエリ、キー、バリューを生成するために、マルチスケールの拡張畳み込みを利用する基本モジュールとしてDynamic Convolutional Self-Attention (DCSA)を設計する。 我々は,空間的自己注意とチャネル的自己意識を定義し,それぞれ注意特徴を生じさせた。 2つの注目機能はDCSAモジュールの出力として最終的にマージされる。 DCSA に基づいて基本 ACSAN ブロックを構築する。 ViTと比較して、私たちはDCSAを使って通常の自己注意操作を置き換え、畳み込みレイヤを使ってMLPを置き換えます。 提案手法の性能を評価するため,CIFAR-10,CIFAR-100,ImageNet-1kの3つの画像分類データベース上で,ACSANをスクラッチからトレーニングする。 実験の結果, ACSAN は標準 ViT と同等あるいは少ないパラメータ, および他の最先端手法と比較して, 優れた分類精度が得られた。 アブレーション研究は、各成分が最終性能に肯定的に寄与することを検証する。

関連論文リスト

• TCSAFormer: Efficient Vision Transformer with Token Compression and Sparse Attention for Medical Image Segmentation [1.474723404975345]
  本稿では,TCSAFormerという医用画像分割ネットワークを提案する。 Compressed Attention (CA)モジュールが組み込まれており、トークン圧縮と画素レベルのスパースアテンションを組み合わせて、クエリ毎に最も関連性の高いキーと値のペアに動的にフォーカスする。 標準的なFFNの代替として、Dual-Branch Feed-Forward Network (DBFFN)モジュールを導入し、ローカルコンテキストの特徴とマルチスケール情報をキャプチャする。
  論文  参考訳（メタデータ） (2025-08-06T03:38:07Z)
• Slicing Vision Transformer for Flexible Inference [79.35046907288518]
  一つのネットワークが複数の小さな ViT を表現できるように,Scala という名前の汎用フレームワークを提案する。 S Scalaは、パラメータが少ないImageNet-1Kで平均1.6%の改善を実現している。
  論文  参考訳（メタデータ） (2024-12-06T05:31:42Z)
• CAS-ViT: Convolutional Additive Self-attention Vision Transformers for Efficient Mobile Applications [73.80247057590519]
  ビジョントランスフォーマー(ViT)は、トークンミキサーの強力なグローバルコンテキスト能力によって、ニューラルネットワークの革命的な進歩を示す。 CAS-ViT: Convolutional Additive Self-attention Vision Transformerを導入し、モバイルアプリケーションにおける効率と性能のバランスを実現する。 ImageNet-1Kのパラメータは12M/21Mで83.0%/84.1%である。
  論文  参考訳（メタデータ） (2024-08-07T11:33:46Z)
• TiC: Exploring Vision Transformer in Convolution [37.50285921899263]
  マルチヘッド・セルフアテンション・コンボリューション(MSA-Conv)を提案する。 MSA-Convは、標準、拡張された、深みのあるものを含む一般的な畳み込みの中に自己認識を組み込んでいる。 本稿では,MSA-Convを用いた画像分類の概念実証として,TiC(Vision Transformer in Convolution)を提案する。
  論文  参考訳（メタデータ） (2023-10-06T10:16:26Z)
• A Close Look at Spatial Modeling: From Attention to Convolution [70.5571582194057]
  ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。 我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。 FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
  論文  参考訳（メタデータ） (2022-12-23T19:13:43Z)
• Shunted Self-Attention via Multi-Scale Token Aggregation [124.16925784748601]
  最近のビジョン変換器(ViT)モデルは、様々なコンピュータビジョンタスクにまたがる励振結果を実証している。 注意層ごとのハイブリッドスケールでの注意をViTsでモデル化するShunted Self-attention(SSA)を提案する。 SSAベースの変換器は84.0%のTop-1精度を実現し、ImageNetの最先端のFocal Transformerより優れている。
  論文  参考訳（メタデータ） (2021-11-30T08:08:47Z)
• An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
  我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。 具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
  論文  参考訳（メタデータ） (2021-11-03T17:55:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。