論文の概要: Density-Aware Calibration for Resource-Efficient Medical Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.00684v1
- Date: Sat, 31 Oct 2026 06:24:37 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:16:19.255527
- Title: Density-Aware Calibration for Resource-Efficient Medical Vision-Language Models
- Title(参考訳): 資源効率の良い医用ビジョンランゲージモデルのための密度対応校正法
- Abstract要約: CoreCalibは、コンパクトなキャリブレーションセットを構築するためのトレーニングフリーで量子化器に依存しないフレームワークである。
Kvasir-VQA-x1では、固定128対の予算を用いて、CoreCalibをMASQuant、GPTQ、QIGで評価する。
- 参考スコア(独自算出の注目度): 11.27056623462154
- License:
- Abstract: Medical vision-language models (VLMs) show promise for clinical image understanding, but their computational and memory requirements hinder deployment on resource-constrained clinical hardware. Post-training quantization (PTQ) offers a practical compression strategy without retraining, yet its effectiveness depends strongly on the calibration data. We propose CoreCalib, a training-free and quantizer-agnostic framework for constructing compact calibration sets that preserve the target medical VQA distribution. CoreCalib stratifies data by clinical question class, identifies representative visual modes using frozen DINOv2 features with UMAP and HDBSCAN, and expands selected images into class-balanced question-answer pairs. On Kvasir-VQA-x1, we evaluate CoreCalib with MASQuant, GPTQ, and QIG using a fixed 128-pair budget. CoreCalib achieves the best METEOR with all three quantizers and the best ROUGE-L with MASQuant and GPTQ. With W4A8 MASQuant, it improves METEOR from 0.5672 with COCO calibration to 0.6234, recovering approximately 41% of the degradation relative to BF16. These results support CoreCalib as a data-centric component for resource-efficient medical VLM deployment. Project page: https://magnusdtd.github.io/CoreCalib/ .
- Abstract(参考訳): 医用視覚言語モデル (VLM) は, 臨床画像の理解を約束するが, その計算と記憶の要求は, 資源制約のある臨床ハードウェアへの展開を妨げる。
ポストトレーニング量子化(PTQ)は、再トレーニングせずに実用的な圧縮戦略を提供するが、その有効性は校正データに強く依存する。
目標とする医療用VQA分布を保存するための小型キャリブレーションセットを構築するための,トレーニングフリーかつ量子化器に依存しないフレームワークであるCoreCalibを提案する。
CoreCalibは、臨床質問クラスでデータを階層化し、凍結したDINOv2特徴をUMAPとHDBSCANで識別し、選択した画像をクラスバランスのとれた質問応答ペアに拡張する。
Kvasir-VQA-x1では、固定128対の予算を用いて、CoreCalibをMASQuant、GPTQ、QIGで評価する。
CoreCalibは3つの量子化器で最高のMETEORを達成し、MASQuantとGPTQで最高のROUGE-Lを達成している。
W4A8 MASQuantでは、COCOキャリブレーションによりMETEORを0.5672から0.6234に改善し、BF16と比較して約41%の劣化を回復する。
これらの結果は、リソース効率の良い医療用VLMデプロイメントのためのデータ中心コンポーネントとしてCoreCalibをサポートする。
プロジェクトページ: https://magnusdd.github.io/CoreCalib/。
関連論文リスト
- MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA [55.12170695219291]
MedFG-VQAは、DCTベースの低周波機能を強化し、効果的な視覚・テキストアライメントにグラフ強化のクロスアテンションを使用する軽量フレームワークである。
データ不足に対処するため、SynMed-VQAという大規模な合成データセットを構築した。
論文 参考訳(メタデータ) (2026-08-27T09:16:14Z) - HAMP-LIC: Hessian-Aware Mixed-Precision Post-Training Quantization for Learned Image Compression [0.7614628596146601]
HAMP-LICは4段階最適化戦略を備えたヘシアン対応の混合精度のポストトレーニング量子化フレームワークである。
既存の固定精度と混合精度のPTQメソッドを複数のデータセットで一貫して上回る。
論文 参考訳(メタデータ) (2026-08-12T16:41:33Z) - Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency [1.6806593639401994]
No-Reference Image Quality Assessment (NR IQA)は、最近ディープモデルとマルチモーダルモデルから恩恵を受けている。
textbfImage textbfQuality with textbfSaliency に対する textbfResolution-agnostic textbfLearning のモデルである textbfReLIQS を提案する。
ReLIQSはCLIPベースのマルチスケールパッチ駆動アーキテクチャで、品質を判断するための見地と見地の両方を学ぶ
論文 参考訳(メタデータ) (2026-08-03T05:54:06Z) - Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA [0.16383644639245779]
マルチモーダル大言語モデル (MLLM) を医用視覚質問回答 (VQA) に適用すると, 実際の正確性に関わらず, 自信過剰なアウトプットが生じる傾向にある。
本研究では、MLLMを微調整し、複合損失関数を用いて校正を改善するためのトレーニングベースフレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-25T13:33:58Z) - AdaLoRA-QAT: Adaptive Low-Rank and Quantization-Aware Segmentation [3.7529248291177404]
AdaLoRA-QATは、適応型低ランクエンコーダ適応とフル量子化対応トレーニングを組み合わせた2段階の微調整フレームワークである。
95.6%のDiceを実現し、完全精度のSAMデコーダを微調整し、トレーニング可能なパラメータを16.6倍減らし、2.24倍のモデル圧縮が得られる。
これらの結果から,AdaLoRA-QATは精度,効率,構造的信頼性を効果的にバランスさせ,医用画像セグメンテーションのためのコンパクトで展開可能な基礎モデルを実現できることが示された。
論文 参考訳(メタデータ) (2026-04-01T17:18:46Z) - Calibrated and Robust Foundation Models for Vision-Language and Medical Image Tasks Under Distribution Shift [2.292525568003776]
CLIPやSAMといった基礎モデルには、低ショット転送学習による高度なコンピュータビジョンと医療画像があり、限られたデータでCADDを支援する。
両課題に対処するためのFIPとCMPの融合である textbfStaRFM を提案する。
パッチワイド正規化により3Dに拡張されたFIPを適用し、埋め込みシフトを減らすとともに、ボクセルレベルの予測のために修正されたCMPをセグメンテーションの不確実性に適用する。
論文 参考訳(メタデータ) (2025-07-12T09:39:07Z) - GWQ: Gradient-Aware Weight Quantization for Large Language Models [56.22507677736051]
大規模言語モデル(LLM)は、複雑な言語タスクの解決における優れたパフォーマンスを示している。
LLMを低ビットに圧縮することで、リソース制約のあるデバイスにデプロイできる。
低ビット重み量子化のための最初の量子化手法である勾配対応重み量子化(GWQ)を提案する。
論文 参考訳(メタデータ) (2024-10-30T11:16:04Z) - QSpec: Speculative Decoding with Complementary Quantization Schemes [53.960146187821685]
大規模言語モデル(LLM)における推論の高速化とメモリ消費削減のために量子化が広く採用されている
品質から効率を分離する新しい量子化パラダイムであるQSpecを提案する。
QSpecは重みとKVキャッシュの両方を段階的に再利用し、再トレーニングや補助モデルなしでほぼゼロコストで切り替えることができる。
論文 参考訳(メタデータ) (2024-10-15T05:57:51Z) - Leveraging Automated Mixed-Low-Precision Quantization for tiny edge
microcontrollers [76.30674794049293]
本稿では、HAQフレームワークに基づく自動混合精度量子化フローを提案するが、MCUデバイスのメモリおよび計算特性に特化している。
具体的には、強化学習エージェントは、個々の重みとアクティベーションテンソルの2, 4, 8ビットのうち、最高の均一量子化レベルを探索する。
重量のみの量子化のために2MBに制限されたMCUクラスのメモリが与えられた場合、混合精度エンジンによって生成された圧縮されたモデルは、最先端のソリューションと同じくらい正確である。
論文 参考訳(メタデータ) (2020-08-12T06:09:58Z) - Kernel Quantization for Efficient Network Compression [59.55192551370948]
Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。
重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。
ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
論文 参考訳(メタデータ) (2020-03-11T08:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。