論文の概要: AQ4SViT: An Automated Quantization Framework with Search Gating Policy for Compressing Spiking Vision Transformers
- arxiv url: http://arxiv.org/abs/2606.15523v1
- Date: Sun, 14 Jun 2026 00:41:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.674602
- Title: AQ4SViT: An Automated Quantization Framework with Search Gating Policy for Compressing Spiking Vision Transformers
- Title（参考訳）: AQ4SViT:スパイキングビジョン変換器を圧縮するための検索ゲーティングポリシを備えた自動量子化フレームワーク
- Abstract要約: Spiking Vision Transformers(SViT)は、代替の低消費電力ViTモデルとして登場したが、その大きなサイズは、リソースに制約された組み込みAIシステムへのデプロイメントを妨げる。
本稿では,SViTのための新しい量子化フレームワークであるAQ4SViTを提案する。
- 参考スコア（独自算出の注目度）: 3.1061484260786014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Vision Transformers (SViTs) have emerged as alternative low-power ViT models, but their large sizes hinder their deployments on resource-constrained embedded AI systems. To address this, state-of-the-art works proposed quantization techniques to compress SViT models, but their manual, human-guided approach needs a huge design time and power/energy consumption to find the appropriate quantization setting for each given network, making this approach not scalable for quantizing multiple networks. Toward this, we propose AQ4SViT, a novel automated quantization framework for SViTs that can provide quick quantization settings with good trade-offs between accuracy and memory. To achieve this, AQ4SViT employs the following key ideas: quantization search strategy that evaluates the quantization setting candidates while considering the accuracy constraint; and search gating policy that quickly evaluates and selects promising quantization candidates by leveraging membrane potential drift as a performance proxy. In the search gating policy, AQSViT employs two search algorithm variants to provide trade-off options: Greedy search, which performs fast but may lead to local optima; and Beam search, which performs slower but has better performance in finding global optima selection due to a wider search space. Experimental results show that AQ4SViT-Greedy quickly finds the appropriate quantization settings, achieving up to 6.6x faster search time and up to 82.5% memory saving compared to the state-of-the-art; while AQ4SViT-Beam further reduces the memory footprint by up to 90% compared to the state-of-the-art, but with 4.5x longer search time; all these results are obtained while maintaining high accuracy within 1.5% from the original/non-quantized models on the ImageNet dataset. These results highlight that AQ4SViT framework offers advancements toward SViT deployments on embedded AI systems.
- Abstract（参考訳）: Spiking Vision Transformers(SViT)は、代替の低消費電力ViTモデルとして登場したが、その大きなサイズは、リソースに制約された組み込みAIシステムへのデプロイメントを妨げる。
これを解決するために、最先端の作業ではSViTモデルを圧縮するための量子化技術を提案したが、その手動の人手によるアプローチでは、各ネットワークに対して適切な量子化設定を見つけるために、巨大な設計時間と電力/エネルギー消費が必要であるため、複数のネットワークを量子化するにはスケーラブルではない。
そこで本研究では,SViTのための新しい量子化フレームワークであるAQ4SViTを提案する。
これを実現するために、AQ4SViTは、精度制約を考慮して量子化設定候補を評価する量子化探索戦略と、膜電位ドリフトをパフォーマンスプロキシとして活用して有望な量子化候補を迅速に評価・選択する探索ゲーティングポリシーを用いる。
検索ゲーティングポリシーでは、AQSViTはトレードオフオプションを提供するために2つの検索アルゴリズムを使用している。
実験結果から、AQ4SViT-Greedyは検索時間を最大6.6倍、検索時間を最大82.5%削減できるが、AQ4SViT-Beamは検索時間を4.5倍長くすることでメモリフットプリントを最大90%削減できることがわかった。
これらの結果は、AQ4SViTフレームワークが組み込みAIシステムにおけるSViTデプロイメントの進歩を提供することを示している。
関連論文リスト
- QSViT: A Methodology for Quantizing Spiking Vision Transformers [5.343921650701002]
ビジョントランスフォーマー(ViT)ベースのモデルでは、ビジョンベースのAIタスクにおける最先端のパフォーマンス(精度など)が示されている。
しかし、リソースに制約のある組み込みAIシステムにおいて、その能力を実現することは、その固有の大きなメモリフットプリントのために困難である。
本稿では,SViTモデルを体系的な量子化戦略により圧縮する新しい設計手法であるQSViTを提案する。
論文 参考訳（メタデータ） (2025-04-01T16:34:46Z) - P4Q: Learning to Prompt for Quantization in Visual-language Models [38.87018242616165]
量子化のためのPrompt(P4Q)という,微調整と量子化のバランスをとる手法を提案する。
提案手法は,低ビット量子化による画像特徴とテキスト特徴とのギャップを効果的に低減することができる。
私たちの8ビットP4Qは理論上CLIP-ViT/B-32を4$times$で圧縮でき、Top-1の精度は66.94%である。
論文 参考訳（メタデータ） (2024-09-26T08:31:27Z) - Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。
ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
論文 参考訳（メタデータ） (2024-07-25T16:35:46Z) - SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture
Search [6.121126813817338]
最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。
我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
論文 参考訳（メタデータ） (2023-12-19T22:08:49Z) - FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search [50.07268323597872]
本稿では,整数浮動小数点モデルと低精度浮動小数点モデルの両方において再学習を不要とする,最初のワンショット混合量子化探索を提案する。
整数モデルでは、ImageNet上のResNet-18の精度を1.31%、ResNet-50の精度を0.90%向上させる。
従来のFP8モデルと比較して,新しい混合精度浮動小数点探索を探索し,最大0.98%改善した。
論文 参考訳（メタデータ） (2023-08-07T04:17:19Z) - Q-DETR: An Efficient Low-Bit Quantized Detection Transformer [50.00784028552792]
Q-DETRのボトルネックは、我々の経験的分析によるクエリ情報の歪みから生じる。
情報ボトルネック(IB)の原理をQ-DETRの学習に一般化することで導出できる2レベル最適化問題としてDRDを定式化する。
本研究では,教師情報を蒸留所要の機能に効果的に転送し,条件情報エントロピーを最小化する,フォアグラウンド対応クエリマッチング手法を提案する。
論文 参考訳（メタデータ） (2023-04-01T08:05:14Z) - Effective and Fast: A Novel Sequential Single Path Search for
Mixed-Precision Quantization [45.22093693422085]
混合精度量子化モデルは、異なる層の感度に応じて異なる量子化ビット精度にマッチし、優れた性能を達成できます。
いくつかの制約に従ってディープニューラルネットワークにおける各層の量子化ビット精度を迅速に決定することは難しい問題である。
混合精度量子化のための新規なシーケンシャルシングルパス探索(SSPS)法を提案する。
論文 参考訳（メタデータ） (2021-03-04T09:15:08Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳（メタデータ） (2020-09-18T09:13:26Z) - APQ: Joint Search for Network Architecture, Pruning and Quantization
Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。
ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。
同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文 参考訳（メタデータ） (2020-06-15T16:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。