論文の概要: When Quantization Preserves Accuracy but Not Evidence: Explanation-Aware Post-Training Quantization for Medical LLMs

• arxiv url: http://arxiv.org/abs/2609.24799v1
• Date: Mon, 21 Sep 2026 15:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.3649
• Title: When Quantization Preserves Accuracy but Not Evidence: Explanation-Aware Post-Training Quantization for Medical LLMs
• Title（参考訳）: 量子化の正確さは保たれるが証拠ではない:医療用LDMにおける実験後の量子化の説明
• Abstract要約: ポストトレーニング量子化(PTQ)は、大規模言語モデルの効率的なデプロイを可能にする。 最終回答のみを保持することは、説明クリティカルな領域では不十分である。 本稿では,変換に基づくPTQの目的について説明する。
• 参考スコア（独自算出の注目度）: 1.6596961141963174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization (PTQ) enables efficient deployment of large language models, and PTQ methods are usually optimized and evaluated with generic reconstruction, perplexity, or answer accuracy. But in explanation-critical domains, preserving only the final answer may be insufficient, since users may also inspect generated rationales to judge whether a prediction is trustworthy. We study this issue in medical multiple-choice question answering, where rationales should provide evidence that supports the selected answer. We propose an explanation-aware objective for transformation-based PTQ. Our method builds an offline faithfulness cache from full-precision teacher rationales and uses it during optimization to preserve answer-supporting evidence tokens and evidence-conditioned answer behavior. We instantiate it on OSTQuant under W4A4KV4 quantization and evaluate four 7B--8B medical and instruction-tuned LLMs on MedExQA, MedExpQA, and ChallengeClinicalQA. While a same-calibration OSTQuant baseline preserves task accuracy, it can substantially weaken answer-supporting rationales. Our objective is to preserve the full-precision model's answer-supporting behavior rather than improve gold-label accuracy, and our method better preserves the full-precision model's answer behavior and rationale-to-answer support. These results suggest that PTQ for explanation-critical settings should evaluate preservation of answer-supporting evidence, not only answer accuracy. Code and evaluation scripts are available at https://github.com/dut0817/EAQuant.
• Abstract（参考訳）: トレーニング後の量子化(PTQ)は、大きな言語モデルの効率的なデプロイを可能にし、PTQメソッドは通常、一般的な再構成、パープレキシティ、答えの精度で最適化され、評価される。 しかし、説明クリティカルなドメインでは、予測が信頼できるかどうかを判断するために生成された合理性も検査できるため、最終回答のみを保存することは不十分である可能性がある。 本研究は,選択された回答を裏付ける証拠を合理的に提示する医療多重選択質問応答において,この問題を考察する。 本稿では,変換に基づくPTQの目的について説明する。 本手法は,教師の正理性からオフラインの忠実度キャッシュを構築し,回答支援型エビデンストークンとエビデンス条件付き回答行動の保存に利用する。 W4A4KV4量子化下でOSTQuant上でインスタンス化し,MedExQA,MedExpQA,ChallengeClinicalQAで7B--8Bの医療用および指導用LLMを4つ評価する。 同じキャリブレーションOSTQuantベースラインではタスクの精度は保たれるが、回答を支持する有理性を著しく弱める可能性がある。 本研究の目的は,ゴールドラベルの精度を向上させるのではなく,全精度モデルの回答支援行動を維持することであり,本手法は全精度モデルの回答行動と合理的回答支援をよりよく保存することである。 これらの結果から, 説明クリティカルな設定のためのPTQは, 回答精度だけでなく, 回答支援証拠の保存を評価すべきであることが示唆された。 コードと評価スクリプトはhttps://github.com/dut0817/EAQuant.comで入手できる。

関連論文リスト

• Rewarding Reasoning, Not Answers: Fixing and Bounding Test-Time Reinforcement Learning on Medical QA [40.18486858532692]
  テスト時間強化学習は、多数投票の擬似ラベルを使用して、自身のラベルのないテストセットにモデルを適応させる。 このレシピは医療用多目的QAで崩壊し, 精度は停滞し, 出力の多様性は急速に低下する。 この診断はPROSE(Process Reward Guided Self-Training)を動機付け、回答合意の代わりに品質を判断する。
  論文  参考訳（メタデータ） (2026-09-15T05:31:55Z)
• Benchmarking Uncertainty Calibration in Large Language Model Long-Form Question Answering [7.1559850008795385]
  大きな言語モデル(LLM)は質問回答(QA)設定で一般的に使用される。 既存のUQアプローチは、科学的QAでは弱い検証が残っている。 推論要求QAにおけるUQ指標を評価するための,最初の大規模ベンチマークを紹介する。
  論文  参考訳（メタデータ） (2026-01-30T20:02:34Z)
• Uncertainty Quantification in Retrieval Augmented Question Answering [45.573346610161195]
  本稿では,QAモデルが備える通路の有効性を推定することで,QAモデルの不確実性を定量化する。 我々は、目標QAモデルの通過効率を予測するために軽量ニューラルネットワークを訓練し、単純な情報理論のメトリクスが解の正しさをある程度予測できる一方で、より高価なサンプリングベースの手法を効率的に近似または上回ることを示す。
  論文  参考訳（メタデータ） (2025-02-25T11:24:52Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• QDrop: Randomly Dropping Quantization for Extremely Low-bit Post-Training Quantization [54.44028700760694]
  ポストトレーニング量子化(PTQ)は、長時間のリトレーニングなしに効率的なニューラルネットワークを生成するために多くの注目を集めている。 本研究では,PTQ再構成にアクティベーション量子化を適切に組み込むことで,最終的な精度が向上することを先駆的に確認する。 結論に基づき、QDROPと呼ばれる単純な効果的なアプローチが提案され、PTQ中のアクティベーションの量子化をランダムに減少させる。
  論文  参考訳（メタデータ） (2022-03-11T04:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。