論文の概要: RGSQ: Riemannian Geometry-Sensitive Quantization for Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.25492v1
• Date: Mon, 21 Sep 2026 23:42:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.144412
• Title: RGSQ: Riemannian Geometry-Sensitive Quantization for Large Vision-Language Models
• Title（参考訳）: RGSQ: 大規模視覚言語モデルのためのリーマン幾何学感応量子化
• Abstract要約: 大規模視覚言語モデル(VLM)のポストトレーニング量子化は、厳密なメモリと遅延制約の下で効率的に展開することができる。 ほとんどのPTQ法は量子化誤差をユークリッドの仮定の下で等方的摂動として扱う。
• 参考スコア（独自算出の注目度）: 10.762165559891331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (VLMs) can be efficiently deployed under stringent memory and latency constraints through post training quantization (PTQ). However, most PTQ methods are designed for unimodal large language models (LLMs). These methods treat quantization errors as isotropic perturbations under the Euclidean assumption, which provides weak guidance on directions most sensitive to quantization in VLMs. Consequently, directly adapting unimodal PTQ approaches or solely employing modality-specific scaling often leads to uneven bit-width distribution and inconsistent performance in low-bit settings. To address these challenges, we propose Riemannian Geometry-Sensitive Quantization (RGSQ), which formulates quantization as a reconstruction problem under a unified Fisher-Riemannian metric. RGSQ identifies modality-specific sensitive directions via Riemannian manifold mappings built from modality-partitioned empirical Fisher factors and fused into a modality-aware Kronecker-structured metric. We then apply geometry-aligned rotations to reorient the local tangent frame, steering low-bit perturbations toward loss-insensitive axes. Finally, we apply a whitening transformation that maps the Riemannian objective to an equivalent Euclidean form, enabling standard unimodal PTQ methods to evaluate multimodal quantization error under their original assumptions. Across an extensive and diverse set of mainstream VLM benchmarks, RGSQ achieves the highest accuracy and stability under extremely low-bit settings (W2A8 and W3A8). It outperforms VLM-aware baselines, such as MBQ and MQuant, by up to 5.9% and surpasses single-modality improvements by up to 8.6%.
• Abstract（参考訳）: 大規模視覚言語モデル(VLM)は、後トレーニング量子化(PTQ)により、ストレントメモリと遅延制約の下で効率的にデプロイできる。 しかし、ほとんどのPTQメソッドはLLM(unimodal large language model)のために設計されている。 これらの手法はユークリッド仮定の下での等方的摂動として量子化誤差を扱い、VLMの量子化に最も敏感な方向について弱いガイダンスを与える。 したがって、単調PTQアプローチを直接適用するか、あるいは単にモダリティ固有のスケーリングを採用するだけでは、低ビット設定における不均一なビット幅分布と不整合性能につながることがしばしばある。 これらの課題に対処するために、RGSQ(Riemannian Geometry-Sensitive Quantization)を提案する。 RGSQ は、モダリティ分割された経験的フィッシャー因子から構築され、モダリティ対応クロネッカー構造計量に融合されたリーマン多様体の写像を通して、モダリティ固有の感度方向を特定する。 次に,局所接フレームの向きを変えるために幾何整列回転を適用し,低ビット摂動を損失非感応軸に操る。 最後に、リーマンの目的を等価ユークリッド形式にマッピングするホワイトニング変換を適用し、標準の単調PTQ法で元の仮定の下で多重モーダル量子化誤差を評価することができる。 RGSQは、広範囲で多様なVLMベンチマークの他、非常に低ビット設定(W2A8とW3A8)下での最高精度と安定性を実現している。 MBQやMQuantなどのVLM対応ベースラインを最大5.9%上回り、単一モダリティの改善を最大8.6%上回っている。

関連論文リスト

• RUQuant: Towards Refining Uniform Quantization for Large Language Models [17.258420059228808]
  ポストトレーニング量子化(PTQ)は、再トレーニングを必要とせずにモデルを圧縮することで、実用的なソリューションとして登場した。 既存の方法は、アクティベーション分布の非一様性により、かなりの精度の劣化に悩まされることが多い。 本研究では,ロイド-マックス最適条件に基づく理論的な観点から,活性化量子化問題を再考する。
  論文  参考訳（メタデータ） (2026-04-05T08:04:39Z)
• MS-ISSM: Objective Quality Assessment of Point Clouds Using Multi-scale Implicit Structural Similarity [65.85858856481131]
  点雲の非構造的で不規則な性質は、客観的品質評価(PCQA)に重大な課題をもたらす マルチスケールインシシシット構造類似度測定(MS-ISSM)を提案する。
  論文  参考訳（メタデータ） (2026-01-03T14:58:52Z)
• RSAVQ: Riemannian Sensitivity-Aware Vector Quantization for Large Language Models [17.273189597394072]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 指数関数的に増加するパラメータは、リソース制約のあるデバイスへの展開に重大な課題をもたらす。 LLMの超低ビット量子化を実現する新しいフレームワークであるRSAVQを提案する。
  論文  参考訳（メタデータ） (2025-09-24T01:40:32Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Quantization Meets Reasoning: Exploring and Mitigating Degradation of Low-Bit LLMs in Mathematical Reasoning [39.56908863102256]
  低ビット後の量子化は、より厳しい設定で69.81%の数学的推論を損なう。 デプロイクリティカルな2つの問題に,プロセスレベルの精度で対処する。 われわれの設定では、332のキュレートされたサンプルと1つのGPUで3～5分計算すると、完全な精度のベースラインに向かって4ビットの重み計算が引き起こされる。
  論文  参考訳（メタデータ） (2025-05-16T12:11:40Z)
• APHQ-ViT: Post-Training Quantization with Average Perturbation Hessian Based Reconstruction for Vision Transformers [71.2294205496784]
  平均摂動ヘシアン (APH) を用いた重要度推定に基づく新しいPTQ手法である textbfAPHQ-ViT を提案する。 本稿では,線形量子化器を用いたAPHQ-ViTが既存のPTQ法よりも3ビット,4ビットの差が大きいことを示す。
  論文  参考訳（メタデータ） (2025-04-03T11:48:56Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 我々は、減量量化が損失景観におけるより平坦なミニマムを効果的に導くことを実証した。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。