論文の概要: Channel-Wise and Token-Aware Post-Training Quantization for Visual State Space Duality

• arxiv url: http://arxiv.org/abs/2609.16656v1
• Date: Tue, 15 Sep 2026 05:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.353003
• Title: Channel-Wise and Token-Aware Post-Training Quantization for Visual State Space Duality
• Title（参考訳）: 視覚状態空間双対のためのチャネルワイズとトーケン対応後学習量子化
• Abstract要約: 視覚状態空間双対(VSSD)の低ビット後量子化挙動について検討する。 本稿では,対応する線形出力に対するトークンバランスの復元損失を最小限に抑えて,入力チャネル毎のクリッピング境界を学習する,トークンバランス付き出力対応クリッピング(CTOAC)手法を提案する。 VSSD-Tiny、VSSD-Small、VSSD-Baseの他、提案手法はImageNet-1Kの精度を保ち、評価ベースラインよりもかなり堅牢である。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State space models (SSMs), particularly Mamba, have emerged as efficient alternatives to attention-based architectures and have been extended to vision through ViM, VMamba, and Visual State Space Duality (VSSD). Yet the low-bit post-training quantization (PTQ) behavior of VSSD remains insufficiently understood. A weight-activation split on VSSD-Tiny identifies activation quantization as the dominant low-bit bottleneck, while representative inputs to selected VSSD-backbone linear layers exhibit strong channel-wise magnitude variation and token-localized extremes. We propose the Channel-wise Token-balanced Output-Aware Clipping (CTOAC) method, which learns per-input-channel clipping bounds by minimizing a token-balanced reconstruction loss on the corresponding linear outputs. Only the selected linear layers and their input activations are quantized; other backbone operations retain their original precision. Across VSSD-Tiny, VSSD-Small, and VSSD-Base, the proposed CTOAC method retains ImageNet-1K accuracy and remains substantially more robust than the evaluated baselines at more aggressive precision settings. Applying the same quantization scope to VSSD backbones on COCO and ADE20K preserves strong object detection, instance segmentation, and semantic segmentation performance. An optimized RTX 4090 deployment configuration achieves up to 1.42x end-to-end speedup over FP32.
• Abstract（参考訳）: ステートスペースモデル(SSM)、特にMambaは、注目に基づくアーキテクチャの効率的な代替手段として登場し、ViM、VMamba、Visual State Space Duality (VSSD)を通じてビジョンに拡張されている。 しかし、VSSDの低ビット後量子化(PTQ)挙動は未だ十分に理解されていない。 VSSD-Tiny上の重み-活性化分割は、活性化量子化を支配的な低ビットボトルネックとして認識し、選択されたVSSD-バックボーン線形層への代表入力は、チャネルワイド・マグニチュードとトークン局在極値を示す。 本稿では,対応する線形出力に対するトークンバランスの復元損失を最小化して,入力チャネルごとのクリッピング境界を学習する,チャネルワイズなToken-Aware Clipping(CTOAC)手法を提案する。 選択された線形層と入力活性化のみが量子化され、他のバックボーン演算は元の精度を維持している。 VSSD-Tiny、VSSD-Small、VSSD-Base全体で、提案手法はImageNet-1Kの精度を維持し、より積極的な精度設定で評価されたベースラインよりもかなり堅牢である。 COCOとADE20K上のVSSDバックボーンに同じ量子化スコープを適用すると、強いオブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションのパフォーマンスが保たれる。 最適化されたRTX 4090のデプロイメント構成では、FP32の最大1.42倍のエンドツーエンドのスピードアップを実現している。

関連論文リスト

• CRISP: Calibration-Aware Visual State Space Duality for Remote Sensing Semantic Segmentation [4.221637809927085]
  CRISPはVisual State Space Dualityのキャリブレーションフレームワークである。 局所コントラストと境界応答を線形複雑性を変えることなく復元する。 最先端の手法と競合しながら、平均F1とmIoUで一貫した利得を達成する。
  論文  参考訳（メタデータ） (2026-08-24T18:35:00Z)
• BASC : Behavior-Aligned Quantization and Pruning for Low-Bit Spiking Neural Networks [6.5713207503171285]
  スパイキングニューラルネットワーク(SNN)はバイナリスパイクを通じて情報をエンコードし、イベント駆動方式で計算する。 高性能なSNNは、リソース制約のあるデバイスへのデプロイメントを妨げる、メモリとタイムステップのコストをかなり発生させる。 本稿では,2つの軽量モジュールを持つ統一フレームワークである行動適応型SNN圧縮(BASC)を提案する。
  論文  参考訳（メタデータ） (2026-08-12T03:39:24Z)
• Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs [9.080169376642433]
  本稿では,スコアリング空間に直接冗長性制御を組み込む視覚トークンプルーニングの構造的再構成を提案する。 提案手法は,Qwen2.5-VLの512トークンにおいて,112.4msから2.5msまでのトークン選択プロセスを110msまで削減し,安定な選択コストを維持していることを示す。
  論文  参考訳（メタデータ） (2026-07-25T05:08:22Z)
• SAB-LVLM: Significance-Aware Binarization for Large Vision-Language Models [75.75091459417304]
  LVLM(Large Vision-Language Models)はマルチモーダル理解において顕著な進歩を遂げている。 LVLMはメモリと遅延のオーバーヘッドをかなり発生させ、リソース制約のあるデバイスへの実際のデプロイメントを著しく制限する。 本稿では,ストレージと計算コストを大幅に削減するバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2026-07-02T08:30:00Z)
• Spatial-Aware Reduction Framework: Towards Efficient and Faithful Visual State Space Models [71.59431204970339]
  STORMは空間対応のトークン還元フレームワークである。 空間単位上の構造演算に還元を再構成する。 様々なビジョンのMambaバックボーンにまたがって最先端のプルーニング精度を実現する。
  論文  参考訳（メタデータ） (2026-06-18T08:31:11Z)
• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
  Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。 SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。 本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-24T18:59:05Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
  AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。 2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。 分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-07T07:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。