論文の概要: Rethinking Small VLM Quantization: From Component-Wise Analysis to Hardware-Aware Edge Deployment

• arxiv url: http://arxiv.org/abs/2607.08029v1
• Date: Thu, 09 Jul 2026 01:13:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.384608
• Title: Rethinking Small VLM Quantization: From Component-Wise Analysis to Hardware-Aware Edge Deployment
• Title（参考訳）: 小さなVLM量子化を再考する:コンポーネントワイズ分析からハードウェア対応エッジ展開へ
• Authors: Hyeju Shin, Chorwon Kim, Ryangsoo Kim, Hark Yoo, Jaein Kim,
• Abstract要約: 量子化感度は、単独でスケールするのではなく、構造パラダイム(MoE対高密度)によって制御される。 複合量子化誤差は、モダリティアライメントパスに沿っている以外は、主に付加的である。 メモリ帯域幅の制約により、インテリジェンス/ジュールプロファイルはプラットフォームによって大きく異なる。
• 参考スコア（独自算出の注目度）: 1.255240131654668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of vision language models with fewer than 3 billion parameters has accelerated the implementation of on-device multimodal intelligence. However, a detailed understanding of component-wise quantization remains a bottleneck for optimal deployment. This paper presents a systematic evaluation framework for empirically validating five hypotheses across six quantization configurations on the Jetson Orin NX and AGX. By separating the vision encoder, projector, and large language model backbone yields the following results: (1) Quantization sensitivity is governed by the structural paradigm (MoE vs. dense) rather than scale alone, with MoE backbones mitigating INT4 noise where dense backbones degrade; (2) SigLIP encoders incur disproportionate INT8 latency on Jetson Ampere--a deployment-specific encoder-kernel-hardware interaction, not a SigLIP flaw; (3) Although INT4 quantization of LLMs greatly reduces VRAM consumption, it also causes slower token generation due to dequantization overhead; (4) Composite quantization errors are largely additive, except along the modality-alignment path, which is architecture-dependent; (5) The intelligence-per-joule profile varies significantly across platforms owing to memory bandwidth constraints.
• Abstract（参考訳）: 30億以上のパラメータを持つ視覚言語モデルの出現は、デバイス上でのマルチモーダルインテリジェンスの実装を加速させてきた。 しかしながら、コンポーネントの量子化に関する詳細な理解は、最適なデプロイメントのボトルネックとして残っています。 本稿では,Jetson Orin NXとAGXの6つの量子化構成にまたがる5つの仮説を実証的に検証するための体系的評価枠組みを提案する。 ビジョンエンコーダ、プロジェクタ、および大きな言語モデルのバックボーンを分離することで、次の結果が得られる: 1)量子化感度は、スケールするよりも構造パラダイム(MoE vs. dense)によって制御される。 MoEバックボーンは、高密度バックボーンが劣化するINT4ノイズを緩和する。 2) SigLIPエンコーダは、Jetson AmpereのINT8遅延は、SigLIPの欠陥ではなく、デプロイメント固有のエンコーダ-カーネル-ハードウェアインタラクションである。

関連論文リスト

• SOAR: Scale Optimization for Accurate Reconstruction in NVFP4 Quantization [19.022444007775896]
  NVFP4は、最近、大規模言語モデルの効率的な4ビットマイクロスケーリングフォーマットとして登場した。 既存の方法は、しばしば、柔軟性のないスケールの選択と、量子化と量子化のスケールの併用による、最適以下の性能をもたらす。 NVFP4量子化の精度を向上する新しい学習後量子化フレームワークであるSOAR(Scale Optimization for Accurate Reconstruction)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T15:13:18Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• SPEED-Q: Staged Processing with Enhanced Distillation towards Efficient Low-bit On-device VLM Quantization [6.872509247180761]
  VLM(Vision-Language Models)は、低レイテンシとプライバシ保護のインテリジェントなアプリケーションを実現するために不可欠である。 VLMモデルの低ビット量化のための新しいフレームワークであるSPEED-Qを提案する。 Speedy-Qは2ビット設定で既存の量子化手法よりも最大6倍高い精度を達成する。
  論文  参考訳（メタデータ） (2025-11-12T02:47:24Z)
• SLED: A Speculative LLM Decoding Framework for Efficient Edge Serving [7.69991252191073]
  acronymは、軽量エッジデバイスが様々なドラフトモデルを使用して、複数の候補トークンをローカルにドラフトできるフレームワークである。 単一の共有エッジサーバは、より正確なターゲットモデルを用いてトークンを検証する。 Jetson Orin Nano、Raspberry Pi 4B/5、Nvidia A100 GPUを搭載したエッジサーバを使った最初の実験は、大きなメリットを示している。
  論文  参考訳（メタデータ） (2025-06-11T04:55:54Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• LAMBO: Large AI Model Empowered Edge Intelligence [71.56135386994119]
  次世代エッジインテリジェンスは、オフロード技術を通じて様々なアプリケーションに恩恵をもたらすことが期待されている。 従来のオフロードアーキテクチャは、不均一な制約、部分的な認識、不確実な一般化、トラクタビリティの欠如など、いくつかの問題に直面している。 我々は、これらの問題を解決するための10億以上のパラメータを持つLarge AI Model-Based Offloading (LAMBO)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:25:42Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。