論文の概要: Can Less Precise Be More Reliable? A Systematic Evaluation of Quantization's Impact on CLIP Beyond Accuracy

• arxiv url: http://arxiv.org/abs/2509.21173v1
• Date: Thu, 25 Sep 2025 13:54:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.953791
• Title: Can Less Precise Be More Reliable? A Systematic Evaluation of Quantization's Impact on CLIP Beyond Accuracy
• Title（参考訳）: 正確さはより信頼性が高いか? 量子化によるCLIPへの影響の体系的評価
• Authors: Aymen Bouguerra, Daniel Montoya, Alexandra Gomez-Villa, Fabio Arnez, Chokri Mraidha,
• Abstract要約: 量子化がCLIPの性能に与える影響を精度を超えて評価する。 量子化は、一般に信頼できない事前学習モデルの校正を一貫して改善することを示す。 我々は、ゼロショット精度、キャリブレーション、OODロバスト性において同時ゲインをもたらす特定の量子化対応トレーニング(QAT)法を同定する。
• 参考スコア（独自算出の注目度）: 38.91808019403202
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The powerful zero-shot generalization capabilities of vision-language models (VLMs) like CLIP have enabled new paradigms for safety-related tasks such as out-of-distribution (OOD) detection. However, additional aspects crucial for the computationally efficient and reliable deployment of CLIP are still overlooked. In particular, the impact of quantization on CLIP's performance beyond accuracy remains underexplored. This work presents a large-scale evaluation of quantization on CLIP models, assessing not only in-distribution accuracy but a comprehensive suite of reliability metrics and revealing counterintuitive results driven by pre-training source. We demonstrate that quantization consistently improves calibration for typically underconfident pre-trained models, while often degrading it for overconfident variants. Intriguingly, this degradation in calibration does not preclude gains in other reliability metrics; we find that OOD detection can still improve for these same poorly calibrated models. Furthermore, we identify specific quantization-aware training (QAT) methods that yield simultaneous gains in zero-shot accuracy, calibration, and OOD robustness, challenging the view of a strict efficiency-performance trade-off. These findings offer critical insights for navigating the multi-objective problem of deploying efficient, reliable, and robust VLMs by utilizing quantization beyond its conventional role.
• Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)の強力なゼロショット一般化能力により、アウト・オブ・ディストリビューション(OOD)検出などの安全関連タスクの新しいパラダイムが実現された。 しかし、計算的に効率的で信頼性の高いCLIPのデプロイに不可欠な追加の側面はまだ見過ごされている。 特に、CLIPのパフォーマンスに量子化が与える影響は、まだ解明されていない。 本研究は,CLIPモデルの量子化を大規模に評価し,分散精度だけでなく,信頼性指標の包括的スイートを評価し,事前学習による直感的な結果を明らかにする。 我々は、量子化が典型的には信頼できない事前学習モデルのキャリブレーションを常に改善し、過信な変種に対して分解することを示した。 興味深いことに、このキャリブレーションの劣化は、他の信頼性指標の上昇を妨げない。 さらに、ゼロショット精度、キャリブレーション、OODロバストネスを同時に獲得する特定の量子化対応訓練(QAT)手法を同定し、厳密な効率・性能トレードオフの考え方に挑戦する。 これらの知見は、従来の役割を超えて量子化を活用することにより、効率、信頼性、堅牢なVLMをデプロイする多目的問題をナビゲートするための重要な洞察を与える。

関連論文リスト

• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors [22.39558434131574]
  モデルキャリブレーションの代替視点として一貫性の概念を導入する。 本稿では,入力間の一貫性に基づいて信頼度を調整する,一貫性(CC)と呼ばれるポストホックキャリブレーション手法を提案する。 また,ロジットレベルでの摂動は計算効率を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2024-10-16T06:55:02Z)
• Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference [37.82259435084825]
  適切に校正されたAIモデルは、その精度を分布内入力(ID)に正しく報告し、また、分布外入力(OOD)の検出を可能にする必要がある。 本稿では、キャリブレーション正則化を統合した変分推論(VI)に基づくベイズ学習の拡張を提案する。
  論文  参考訳（メタデータ） (2024-04-17T13:08:26Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
  各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。 この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
  論文  参考訳（メタデータ） (2022-03-15T12:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。