論文の概要: Lightweight Channel Attention for Efficient CNNs
- arxiv url: http://arxiv.org/abs/2601.01002v1
- Date: Fri, 02 Jan 2026 23:30:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:21.933012
- Title: Lightweight Channel Attention for Efficient CNNs
- Title(参考訳): 効率的なCNNのための軽量チャネルアテンション
- Authors: Prem Babu Kanaparthi, Tulasi Venkata Sri Varshini Padamata,
- Abstract要約: 現代の畳み込みニューラルネットワーク(CNN)に注意機構が不可欠なものになった
本研究は,Squeeze and Excitation(SE),Efficient Channel Attention(ECA),Lite Channel Attention(LCA)モジュールを比較した実証的研究である。
LCAは、効果的な注意行動を維持しながらパラメータの使用を減らすために、グループ化された操作を伴う適応的な一次元の畳み込みを用いる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attention mechanisms have become integral to modern convolutional neural networks (CNNs), delivering notable performance improvements with minimal computational overhead. However, the efficiency accuracy trade off of different channel attention designs remains underexplored. This work presents an empirical study comparing Squeeze and Excitation (SE), Efficient Channel Attention (ECA), and a proposed Lite Channel Attention (LCA) module across ResNet 18 and MobileNetV2 architectures on CIFAR 10. LCA employs adaptive one dimensional convolutions with grouped operations to reduce parameter usage while preserving effective attention behavior. Experimental results show that LCA achieves competitive accuracy, reaching 94.68 percent on ResNet 18 and 93.10 percent on MobileNetV2, while matching ECA in parameter efficiency and maintaining favorable inference latency. Comprehensive benchmarks including FLOPs, parameter counts, and GPU latency measurements are provided, offering practical insights for deploying attention enhanced CNNs in resource constrained environments.
- Abstract(参考訳): 注意機構は現代の畳み込みニューラルネットワーク(CNN)に不可欠なものとなり、計算オーバーヘッドを最小限に抑えて、注目すべきパフォーマンス向上を実現している。
しかし、異なるチャンネルアテンションデザインの効率のトレードオフは未検討のままである。
本研究では,Squeeze and Excitation(SE),Efficient Channel Attention(ECA),ResNet 18およびMobileNetV2アーキテクチャ上でのLCAモジュールを提案する。
LCAは、効果的な注意行動を維持しながらパラメータの使用を減らすために、グループ化された操作を伴う適応的な一次元の畳み込みを用いる。
実験の結果、LCAは競争精度を達成し、ResNet 18では94.68パーセント、MobileNetV2では93.10%に達し、ECAとパラメータ効率は一致し、推論遅延は良好であることがわかった。
FLOP、パラメータカウント、GPUレイテンシ測定を含む包括的なベンチマークが提供され、リソース制約のある環境で注意を増したCNNをデプロイするための実用的な洞察を提供する。
関連論文リスト
- Efficient ANN-SNN Conversion with Error Compensation Learning [20.155985131466174]
スパイクニューラルネットワーク(SNN)は離散スパイクイベントを通じて動作し、より優れたエネルギー効率を提供する。
現在のANN-to-SNN変換は、しばしば変換エラーによる精度の低下と推論時間の増加をもたらす。
本稿では,誤り補償学習に基づく新しいANN-to-SNN変換フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-12T15:31:34Z) - Adaptive Calibration: A Unified Conversion Framework of Spiking Neural Network [1.5215973379400674]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)の代替としてエネルギー効率が高いと見なされる
変換されたSNNの性能と効率を大幅に向上させる一貫した学習自由変換フレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-18T09:38:54Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳(メタデータ) (2023-08-30T10:57:41Z) - Design of High-Throughput Mixed-Precision CNN Accelerators on FPGA [0.0]
層単位での混合精度量子化により、設計空間を膨らませながらより効率的な結果が得られる。
本稿では,FPGAの限られたハードウェア資源を考慮した設計空間を効率的に探索する,詳細な定量的手法を提案する。
我々のハードウェアアクセラレーターは、レイヤーワイドおよびチャネルワイドの量子化CNNの効率的な実行を可能にする真の混合精度演算を実装している。
論文 参考訳(メタデータ) (2022-08-09T15:32:51Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳(メタデータ) (2021-10-21T06:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。