論文の概要: The Effect of Quantization on Clinical Benchmarks: Accuracy and Safety Across Model Families

• arxiv url: http://arxiv.org/abs/2609.22216v1
• Date: Wed, 02 Sep 2026 08:18:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.78762
• Title: The Effect of Quantization on Clinical Benchmarks: Accuracy and Safety Across Model Families
• Title（参考訳）: 臨床ベンチマークにおける量子化の効果:モデルファミリ間の精度と安全性
• Abstract要約: 量子化は、資源制約のある臨床エッジデバイスに大規模な言語モデルを配置することを可能にするが、臨床精度と安全性に対する影響はまだ検討されていない。 FP16, GPTQ-INT8, GPTQ-INT4の5つのパラメータモデルを5つのベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 13.570863502498336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization enables deployment of large language models on resource-constrained clinical edge devices, but its effect on clinical accuracy and safety remains understudied. We evaluate five 7-8B parameter models at FP16, GPTQ-INT8, and GPTQ-INT4 precision across five benchmarks: MedQA, MedMCQA, Med-HALT, a risk-stratified sample of HealthBench, and MedSafetyBench. The study jointly varies quantization bit width, model family, and clinical task type, with explicit risk stratification and safety measures. INT8 GPTQ is universally safe (max. degradation -1.9%-1.9%), while INT4 degradation is substantial and model-dependent: BioMistral-7B, clinically fine-tuned, loses 19.7% on MedMCQA, more than any general-purpose model, showing clinical fine-tuning does not confer compression robustness. MedMCQA degrades more than MedQA under INT4; Med-HALT is largely unaffected. On HealthBench's emergency-risk subgroup, Qwen2.5-7B degrades by 26.8% under INT4, suggesting high-risk scenarios are disproportionately vulnerable to compression. On MedSafetyBench, the model family dominates over precision (refusal rates range 10.2%-74.9% at FP16), though Qwen2.5-7B (-17.8%) and Meditron-7B (-28.3%) show substantial INT4 safety degradation; notably, Qwen2.5-7B is simultaneously the most accuracy-robust model, demonstrating that accuracy and safety robustness are independent properties. We additionally test two recovery methods, clinical calibration substitution and QLoRA fine-tuning, both producing the same trade-off: MedMCQA recovers while MedQA further degrades, indicating recovery strategies require task-specific validation rather than being assumed universally beneficial. These findings indicate INT8 is broadly safe for clinical deployment, while INT4 safety must be assessed per-model and per-task, and that safety alignment is determined primarily by instruction tuning rather than clinical domain adaptation.
• Abstract（参考訳）: 量子化は、資源制約のある臨床エッジデバイスに大規模な言語モデルを配置することを可能にするが、臨床精度と安全性に対する影響はまだ検討されていない。 FP16, GPTQ-INT8, GPTQ-INT4の5つのベンチマークで, MedQA, MedMCQA, Med-HALT, HealthBench, MedSafetyBenchの5つのパラメータモデルを評価する。 この研究は、量子化ビット幅、モデルファミリー、臨床タスクタイプを明示的なリスク階層化と安全対策で共同で変化させる。 INT8 GPTQは普遍的に安全であり(最大分解率-1.9%-1.9%)、INT4分解は実質的でモデルに依存している: 臨床的に微調整されたBioMistral-7Bは、どんな汎用モデルよりもMedMCQAの19.7%を失う。 MedMCQAはINT4の下でMedQAよりも劣化し、Med-HALTはほとんど影響を受けない。 HealthBenchの緊急リスクサブグループでは、Qwen2.5-7BはINT4の下で26.8%低下し、高いリスクシナリオが圧縮に対して不当に脆弱であることを示唆している。 MedSafetyBenchでは、モデルファミリが精度よりも優位(FP16では拒絶率は10.2%-74.9%)であるが、Qwen2.5-7B (-17.8%) とMeditron-7B (-28.3%) はINT4の安全性が著しく低下している。 MedMCQAは回復し、MedQAはさらに劣化し、MedQAは普遍的に有用と仮定されるのではなく、タスク固有の検証が必要であることを示す。 これらの結果から,INT8は臨床展開において広く安全であり,INT4の安全性はモデルごとの安全性とタスクごとの安全性を評価する必要があり,安全アライメントは臨床領域適応よりも指導チューニングによって決定されることが明らかとなった。

関連論文リスト

• Confidence is Not Reliability: Rethinking MC Dropout in Brain Tumour Segmentation [2.104759809264928]
  治療クリティカルなサブリージョンで静かに失敗するセグメンテーションモデルは、患者の安全リスクを表す。 モンテカルロ(MC)Dropoutによるボクセルレベルの不確実性評価は,セグメンテーション誤差を確実に識別できるかどうかを問う。 我々は、高性能プレトレーニング済みSegResNetと、残留ユニットを持つローカルトレーニングされたUNetを評価する。
  論文  参考訳（メタデータ） (2026-06-17T17:24:41Z)
• Perplexity Can Miss SAE Feature Damage Under Quantization [0.16921396880325779]
  量子化モデルは、パープレキシティや下流の精度が完全精度のオリジナルに近い場合、許容できると判断される。 凍結スパースオートエンコーダ(SAE)を固定的な測定基準として用いることでこれを検証する。
  論文  参考訳（メタデータ） (2026-06-02T01:17:05Z)
• Calibration, Uncertainty Communication, and Deployment Readiness in CKD Risk Prediction: A Framework Evaluation Study [0.0]
  慢性腎臓病の機械学習モデルは、しばしば内部テストセットに強い差別的スコアを与える。 UCI CKDデータセット(400例,62.5%)を用いた5つの分類器の訓練を行った。 キャリブレーション品質,コンフォーマルな予測カバレッジ,8基準の展開準備フレームワークについて検討した。
  論文  参考訳（メタデータ） (2026-05-20T17:12:48Z)
• Multi-Agent Reasoning with Consistency Verification Improves Uncertainty Calibration in Medical MCQA [0.0]
  マルチエージェントフレームワークはドメイン固有の特殊エージェントとTwo-Phase VerificationとS-Score Weighted Fusionを組み合わせたものだ。 4つの専門エージェントがQwen2.5-7B-Instructを使用して独立した診断を生成する。 Sスコアは最終回答を選択する重み付き融合戦略を推進し、信頼性を報告している。
  論文  参考訳（メタデータ） (2026-03-25T16:22:53Z)
• Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment [0.0]
  小規模のオープンソース言語モデルは、低リソース環境でのヘルスケアアプリケーションに注目を集めている。 臨床質問応答データセットを用いて,5つのオープンソースモデル(Gemma 2 2B, Phi-3 Mini 3.8B, Llama 3.2 3B, Mistral 7B, Meditron-7B)を評価した。
  論文  参考訳（メタデータ） (2026-03-01T04:37:48Z)
• DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
  安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。 既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。 この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
  論文  参考訳（メタデータ） (2025-10-12T23:21:34Z)
• EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
  医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。 ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。 医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T14:09:55Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• Beyond Benchmarks: Dynamic, Automatic And Systematic Red-Teaming Agents For Trustworthy Medical Language Models [87.66870367661342]
  大規模言語モデル(LLM)は、医療におけるAIアプリケーションで使用される。 LLMを継続的にストレステストするレッドチームフレームワークは、4つのセーフティクリティカルなドメインで重大な弱点を明らかにすることができる。 敵エージェントのスイートは、自律的に変化するテストケースに適用され、安全でないトリガー戦略を特定し、評価する。 私たちのフレームワークは、進化可能でスケーラブルで信頼性の高い、次世代の医療AIのセーフガードを提供します。
  論文  参考訳（メタデータ） (2025-07-30T08:44:22Z)
• Towards Reliable Medical Image Segmentation by Modeling Evidential Calibrated Uncertainty [57.023423137202485]
  医用画像のセグメンテーションの信頼性に関する懸念が臨床医の間で続いている。 本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を活用することで、医用画像分割の確率と不確実性を明示的にモデル化する。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。