Fugu-MT 論文翻訳(概要): Quantized Spike-driven Transformer

論文の概要: Quantized Spike-driven Transformer

arxiv url: http://arxiv.org/abs/2501.13492v1
Date: Thu, 23 Jan 2025 09:14:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-24 15:58:08.209074
Title: Quantized Spike-driven Transformer
Title（参考訳）: 量子スパイク駆動型変圧器
Authors: Xuerui Qiu, Jieyuan Zhang, Wenjie Wei, Honglin Cao, Junsheng Guo, Rui-Jie Zhu, Yimeng Shan, Yang Yang, Malu Zhang, Haizhou Li,
Abstract要約: スパイクニューラルネットワークは、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替として出現している。量子化スパイク駆動型トランスフォーマーベースライン(QSD-Transformer)を提案する。 QSD-Transformerは性能劣化に悩まされることが多い。
参考スコア（独自算出の注目度）: 35.22224915011687
License:
Abstract: Spiking neural networks are emerging as a promising energy-efficient alternative to traditional artificial neural networks due to their spike-driven paradigm. However, recent research in the SNN domain has mainly focused on enhancing accuracy by designing large-scale Transformer structures, which typically rely on substantial computational resources, limiting their deployment on resource-constrained devices. To overcome this challenge, we propose a quantized spike-driven Transformer baseline (QSD-Transformer), which achieves reduced resource demands by utilizing a low bit-width parameter. Regrettably, the QSD-Transformer often suffers from severe performance degradation. In this paper, we first conduct empirical analysis and find that the bimodal distribution of quantized spike-driven self-attention (Q-SDSA) leads to spike information distortion (SID) during quantization, causing significant performance degradation. To mitigate this issue, we take inspiration from mutual information entropy and propose a bi-level optimization strategy to rectify the information distribution in Q-SDSA. Specifically, at the lower level, we introduce an information-enhanced LIF to rectify the information distribution in Q-SDSA. At the upper level, we propose a fine-grained distillation scheme for the QSD-Transformer to align the distribution in Q-SDSA with that in the counterpart ANN. By integrating the bi-level optimization strategy, the QSD-Transformer can attain enhanced energy efficiency without sacrificing its high-performance advantage.For instance, when compared to the prior SNN benchmark on ImageNet, the QSD-Transformer achieves 80.3\% top-1 accuracy, accompanied by significant reductions of 6.0$\times$ and 8.1$\times$ in power consumption and model size, respectively. Code is available at https://github.com/bollossom/QSD-Transformer.
Abstract（参考訳）: スパイキングニューラルネットワークは、スパイク駆動のパラダイムにより、従来のニューラルネットワークに代わる有望なエネルギー効率の代替として出現している。しかし、SNN領域における最近の研究は、主に大規模なトランスフォーマー構造を設計することで精度を高めることに重点を置いている。この課題を克服するために、低ビット幅パラメータを用いてリソース要求の低減を実現する量子スパイク駆動型トランスフォーマーベースライン(QSD-Transformer)を提案する。 QSD-Transformerは、しばしば深刻な性能劣化に悩まされる。本稿ではまず,量子化されたスパイク駆動型自己注意(Q-SDSA)のバイモーダル分布が,量子化時にスパイク情報歪み(SID)を引き起こすことを実証分析により明らかにし,性能劣化を招いた。この問題を軽減するため、我々は相互情報エントロピーからインスピレーションを得て、Q-SDSAにおける情報分布の修正のための双方向最適化戦略を提案する。具体的には,Q-SDSAにおける情報分布を補正する情報強調LIFを導入する。上層部では,Q-SDSAの分布と対応するANNの分布を一致させるQSD-Transformerの微細蒸留方式を提案する。例えば、ImageNetの以前のSNNベンチマークと比較すると、QSD-Transformerは80.3\%のトップ-1の精度を実現し、それぞれ6.0$\times$と8.1$\times$の大幅な削減を実現している。コードはhttps://github.com/bollossom/QSD-Transformerで入手できる。

関連論文リスト

Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。ディープラーニングによる異常検出が重要な方向として現れている。エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文参考訳（メタデータ） (2024-11-06T15:38:31Z)
Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers [14.756988176469365]
計算要求の削減と効率の向上のための効果的なアプローチは、ディープニューラルネットワークの不要なコンポーネントを創り出すことである。これまでの研究では、eXplainable AIの分野からの帰属法が、最も関係の低いネットワークコンポーネントを数ショットで抽出し、プルークする効果的な手段であることが示された。
論文参考訳（メタデータ） (2024-08-22T17:35:18Z)
DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [2.0862654518798034]
本稿では,視覚変換器のための分散親和性・外乱性を考慮したポストトレーニング量子化手法を提案する。 DopQ-ViTは、現在の量子化器の非効率性を分析し、TanQと呼ばれる分布に優しいタン量子化器を導入する。 DopQ-ViTは広範囲に検証され、量子化モデルの性能が大幅に向上した。
論文参考訳（メタデータ） (2024-08-06T16:40:04Z)
AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文参考訳（メタデータ） (2024-07-17T18:38:48Z)
Q-SNNs: Quantized Spiking Neural Networks [12.719590949933105]
スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
論文参考訳（メタデータ） (2024-06-19T16:23:26Z)
Q-DETR: An Efficient Low-Bit Quantized Detection Transformer [50.00784028552792]
Q-DETRのボトルネックは、我々の経験的分析によるクエリ情報の歪みから生じる。情報ボトルネック(IB)の原理をQ-DETRの学習に一般化することで導出できる2レベル最適化問題としてDRDを定式化する。本研究では,教師情報を蒸留所要の機能に効果的に転送し,条件情報エントロピーを最小化する,フォアグラウンド対応クエリマッチング手法を提案する。
論文参考訳（メタデータ） (2023-04-01T08:05:14Z)
Transformer Network-based Reinforcement Learning Method for Power Distribution Network (PDN) Optimization of High Bandwidth Memory (HBM) [4.829921419076774]
高帯域メモリ(HBM)の電力分散ネットワーク(PDN)最適化のための変圧器ネットワークに基づく強化学習(RL)手法を提案する。提案手法は,複数のポートで見られるPDN自己転送の低減を最大化するために,最適なデカップリングコンデンサ(デキャップ)設計を提供する。
論文参考訳（メタデータ） (2022-03-29T16:27:54Z)
Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文参考訳（メタデータ） (2022-03-26T20:37:14Z)
FQ-ViT: Fully Quantized Vision Transformer without Retraining [13.82845665713633]
本稿では,量子変換器の性能劣化と推論の複雑さを低減するための系統的手法を提案する。完全に量子化された視覚変換器上で、我々は初めて精度の劣化(1%)を達成した。
論文参考訳（メタデータ） (2021-11-27T06:20:53Z)
HRFormer: High-Resolution Transformer for Dense Prediction [99.6060997466614]
本稿では高分解能な予測タスクのための高分解能表現を学習する高分解能変換器(HRFormer)を提案する。我々は高分解能畳み込みネットワーク(HRNet)で導入された多分解能並列設計を利用する。人間のポーズ推定とセマンティックセグメンテーションにおける高分解能トランスフォーマの有効性を示す。
論文参考訳（メタデータ） (2021-10-18T15:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。