論文の概要: Hardware-Friendly Token-Group Activation Quantization for Low-Bit Mamba Super-Resolution
- arxiv url: http://arxiv.org/abs/2610.16261v1
- Date: Mon, 12 Oct 2026 06:43:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.319952
- Title: Hardware-Friendly Token-Group Activation Quantization for Low-Bit Mamba Super-Resolution
- Title（参考訳）: 低ビットマンバ超解像のためのハードウェアフレンドリーなToken-Group活性化量子化
- Abstract要約: Mambaベースの超解像モデルは、Transformerベースの復元バックボーンの効率的な代替品である。
本稿では,ハードウェアフレンドリなアクティベーションPTQフレームワークであるToken-Group Quantizationを提案する。
本手法は,トランスフォーマーSRおよびビジョンマンバ分類に移行し,回転型量子化により構成し,FP16上でのJetson Orin Nanoの2.23倍の高速化を実現する。
- 参考スコア（独自算出の注目度）: 7.945828244352857
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mamba-based super-resolution models are efficient alternatives to Transformer-based restoration backbones, but their low-bit post-training quantization remains challenging because selective scan, Mamba's input-dependent state-space operator, induces different activation ranges across spatial tokens. Thus, a single layer-wise clipping range poorly matches all tokens. We propose Token-Group Quantization, a hardware-friendly activation PTQ framework that statically approximates a hardware-unfriendly post-scan grouping oracle, where tokens with similar preferred clipping ranges are assigned to the same group. To avoid runtime post-scan grouping in static low-bit inference, a lightweight predictor infers the groups from pre-scan features available before the quantized scan path. During calibration, we form pseudo-labels by clustering post-scan activation descriptors that capture similar rounding--clipping behavior. At inference, the frozen predictor maps pre-scan features to groups and selects entries from offline-calibrated group-wise clipping-bound tables, without runtime statistics collection, dynamic clipping updates, or post-scan group assignment. To address low-bit restoration degradation, we further introduce a Frequency-Preserving Refinement (FPR) objective for clipping-bound calibration. FPR aligns Fourier amplitude and phase between full-precision teacher and quantized student outputs to preserve high-frequency structures. Across PTQ protocols, bit-widths, backbones, and tasks, our method consistently outperforms prior Mamba and SR PTQ baselines, transfers to Transformer SR and Vision Mamba classification, composes with rotation-based quantization, and achieves 2.23x speedup on Jetson Orin Nano over FP16. Code is available here.
- Abstract（参考訳）: Mambaベースの超解像モデルはTransformerベースの復元バックボーンの効率的な代替品であるが、Mambaの入力依存状態空間演算子である選択走査は空間トークン間で異なるアクティベーション範囲を誘導するため、その低ビット後量子化は依然として困難である。
したがって、単一の層ワイドクリッピング範囲はすべてのトークンとあまり一致しない。
本稿では,ハードウェアフレンドリなアクティベーションPTQフレームワークであるToken-Group Quantizationを提案する。
静的低ビット推論における実行後のグループ化を避けるために、軽量な予測器は、量子化されたスキャンパスの前に利用可能なプリスキャン機能からグループを推論する。
キャリブレーション中の擬似ラベルは、スキャン後のアクティベーション記述子をクラスタリングして形成し、同様のラウンドリング・クリッピング動作をキャプチャする。
推測では、凍結予測器はプレスキャン機能をグループにマップし、実行時統計収集、動的クリップ更新、またはポストスキャングループ割り当てなしで、オフラインでキャリブレーションされたグループワイドのクリッピングバウンドテーブルからエントリを選択します。
低ビット復元に対処するために、クリッピングバウンドキャリブレーションのためのFPR( Frequency-Preserving Refinement)の目的を導入する。
FPRは、フル精度の教師と量子化された学生出力の間のフーリエ振幅と位相を調整し、高周波構造を保存する。
PTQプロトコル、ビット幅、バックボーン、タスク全体にわたって、我々の手法は、MambaとSR PTQのベースラインを一貫して上回り、Transformer SRとVision Mambaの分類に移行し、回転ベースの量子化で構成し、FP16上でJetson Orin Nanoの2.23倍のスピードアップを達成する。
コードはここにある。
関連論文リスト
- Shared Phase and Retention Control for Efficient Adaptive Spectral Recurrence [7.492636491952928]
新たなエビデンスが到着すると、シーケンスモデルは、それが記憶するものと、メモリが予測にどのように影響するかを更新する必要がある。
本研究では,高次元スペクトルメモリは高次元制御を必要としないことを示すとともに,高効率適応スペクトル再帰のための共有位相と保持制御を導入する。
我々の実装では、固定トーケンワークロードにおいて、リカレントミキサートレーニングのレイテンシを18.2%から34.2%削減し、最適化されたRG-Lベースライン上でスキャンを3.1x-4.7x高速化する。
論文 参考訳（メタデータ） (2026-09-30T06:21:34Z) - Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。
Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。
Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
論文 参考訳（メタデータ） (2026-09-29T07:58:49Z) - Precision As You Need: Stochastic Computing Is a Dense Adaptive Quantizer [2.7612366227618903]
SC行列乗算を大規模にエミュレートするGPUライブラリを構築した。
本研究では,トークン単位のストリーム長やグループ一致の平均予算を割り当て,再トレーニングを必要とせず,スケジュール毎に同じSCハードウェアを使用する動的混合精度ポリシを開発する。
これらの結果は、SCが現代の視覚変換器の微粒化混合精度推定のための密度精度基板として機能することを示すソフトウェアレベルの実現可能性を示す。
論文 参考訳（メタデータ） (2026-09-26T20:24:04Z) - Adaptive Tokenisation Via Temporal Redundancy Masking And Latent Inpainting [18.71433885255431]
適応的ビデオトークン化(Adaptive Video tokenisation)は、シーケンスの基盤となる視覚的複雑さに基づいて、トークンの予算を動的に割り当てる。
凍結連続ビデオトークンの潜伏空間は,直接利用可能な時間的冗長性を本質的に符号化していることを示す。
パラメータフリー適応トークン割り当て機構を導入し,時間-L1差分に対する固定しきい値を適用した。
論文 参考訳（メタデータ） (2026-06-04T13:31:12Z) - Adaptive Tensor Network Sampling for Quantum Optimal Control [0.0]
量子最適制御(QOC)は、単一量子システムにおける高忠実度演算を実現するためのフレームワークを提供する。
2つのカテゴリ: 勾配のない製品サンプリングアルゴリズム、a自由勾配状態/テンスペア(MPS/TT)を導入する。
提案手法では, 離散制御パラメータの空間上のスコア関数を定義し, サンプリング分布候補制御列を誘導する。
論文 参考訳（メタデータ） (2026-04-27T13:36:00Z) - A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。
逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。
本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
論文 参考訳（メタデータ） (2026-04-25T17:38:51Z) - Polychronous Wave Computing: Timing-Native Address Selection in Spiking Networks [0.0]
Polychronous Wave Computingは、タイミングネイティブなアドレス選択プリミティブである。
スパイク時間は回転フレームに位相符号化され、プログラム可能なマルチポート干渉計で処理される。
位相ラップと相互コヒーレンスによって課される操作封筒を導出する。
論文 参考訳（メタデータ） (2026-01-19T14:12:01Z) - PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。
本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。
解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
論文 参考訳（メタデータ） (2025-11-14T05:56:47Z) - Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。
提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
論文 参考訳（メタデータ） (2025-10-23T20:19:48Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。
本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文 参考訳（メタデータ） (2024-07-17T18:38:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。