論文の概要: Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models

• arxiv url: http://arxiv.org/abs/2608.21019v1
• Date: Fri, 21 Aug 2026 12:07:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.521443
• Title: Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models
• Title（参考訳）: 量子化言語モデルにおける不確かさを保存するためのターゲット対応校正データ選択
• Abstract要約: 量子化は大規模言語モデルの展開に広く用いられているが、不確実性に対する影響は主要な目的として扱われることは滅多にない。 ターゲット依存不確実性保存問題として量子化のためのキャリブレーションデータ選択を行う。 完全精度予測を用いた軽量な事前量子化レシピファミリーであるDoub-Preserving Quantization (DPQ)を紹介する。
• 参考スコア（独自算出の注目度）: 21.86864148430797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization is widely used to deploy large language models, but its effect on uncertainty behavior, such as confidence, margins, and abstention, is rarely treated as a primary objective. We frame calibration-data selection for quantization as a target-dependent uncertainty-preservation problem. Different deployments emphasize different regions of the input distribution, yet prior work mainly optimizes accuracy-oriented compression metrics or adjusts scores after quantization. We formalize this goal with distributional and boundary preservation risks, and provide a simple mixture-mismatch argument explaining why no single calibration recipe should be expected to fit all targets. We introduce Doubt-Preserving Quantization (DPQ), a lightweight pre-quantization recipe family that uses full-precision predictions to construct target-aligned calibration mixtures of high-doubt examples and generic anchors. Across 8 language models, 9 NLP benchmarks, and 22 comparison methods, the leading fixed recipe changes with the preservation target: DPQ-r75 leads on SQuAD2 answerability-boundary preservation, while milder or single-signal variants, including DPQ-r50, confidence-only, and entropy-only, better preserve broad multiple-choice QA behavior. These results show that calibration data should be selected for the specific full-precision score behavior a deployment needs to preserve, rather than treated as a fixed quantization detail.
• Abstract（参考訳）: 量子化は大規模言語モデルの展開に広く用いられているが、信頼性、マージン、棄権といった不確実性に対する影響は、主要な目的として扱われることは滅多にない。 ターゲット依存不確実性保存問題として量子化のためのキャリブレーションデータ選択を行う。 異なるデプロイメントは入力分布の異なる領域を強調するが、以前の作業は主に精度指向の圧縮メトリクスを最適化するか、量子化後のスコアを調整する。 我々は,この目標を分布的・境界的保存リスクで定式化し,単一キャリブレーションのレシピがすべての目標に適合しない理由を説明する。 そこで,本研究では,高精度な予測手法を用いて,Doubt-Preserving Quantization (DPQ) とジェネリックアンカーのターゲット整合校正混合物を構築する軽量プリ量子化レシピファミリについて紹介する。 DPQ-r75はSQuAD2の応答可能性境界保存を導き、DPQ-r50、自信のみ、エントロピーのみを含むより軽度または単一信号の変種は、より広い多重選択QAの振る舞いをよりよく保存する。 これらの結果は、固定量子化の詳細として扱われるのではなく、デプロイが保持する必要がある特定の完全精度スコアの振る舞いに対して、キャリブレーションデータを選択すべきであることを示している。

関連論文リスト

• Learning to Adapt and Calibrate: Score Distribution Alignment for Few-Shot Uncertainty Prediction in Medical VLMs [9.993859591441238]
  本研究では,非交換性下でのコンフォーマルな不確実性推定で教師付き少数ショット適応を再現する枠組みを提案する。 AlignCPは、ラベル付きサポートセットとラベルなしクエリセットとのスコアレベルの相違を低減するために、再重み付きキャリブレーション分布を学習する。
  論文  参考訳（メタデータ） (2026-09-09T15:32:01Z)
• Beyond Uncertainty Sets: Leveraging Optimal Transport to Extend Conformal Predictive Distribution to Multivariate Settings [0.14504054468850666]
  コンフォーマル予測(CP)は、有限サンプルカバレッジを保証するモデル出力に対する不確実性集合を構成する。 最適な割り当ては、スコア空間の固定された多面体分割において一括的に一定であることを示す。 これにより、予測セット全体を魅力的に特徴付けることができ、予測セットのより深い制限に対処するための機械を提供する。
  論文  参考訳（メタデータ） (2025-11-19T05:59:01Z)
• Post-Hoc Split-Point Self-Consistency Verification for Efficient, Unified Quantification of Aleatoric and Epistemic Uncertainty in Deep Learning [5.996056764788456]
  不確実性定量化(UQ)は、信頼できる深層学習には不可欠であるが、既存の手法は計算集約的であるか、タスク固有の部分的な見積もりのみを提供する。 本研究では,事前訓練したモデルの変更や再訓練を伴わずに,アレタリックおよびてんかんの不確実性を共同でキャプチャするポストホック・シングルフォワード・パス・フレームワークを提案する。 提案手法は,EmphSplit-Point Analysis (SPA) を用いて,予測残差を上下サブセットに分解し,各側でEmphMean Absolute Residuals (MAR) を演算する。
  論文  参考訳（メタデータ） (2025-09-16T17:16:01Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Few-Shot Calibration of Set Predictors via Meta-Learned Cross-Validation-Based Conformal Prediction [33.33774397643919]
  本稿では,設定した予測サイズを減らすことを目的としたメタ学習ソリューションを提案する。 より効率的なバリデーションベースのCPではなく、クロスバリデーションベースのCP上に構築されている。 これは、厳格なタスク・マージナル保証を減らすのではなく、正式なタスク毎のキャリブレーション保証を保持する。
  論文  参考訳（メタデータ） (2022-10-06T17:21:03Z)
• Confidence Calibration for Intent Detection via Hyperspherical Space and Rebalanced Accuracy-Uncertainty Loss [17.26964140836123]
  一部のシナリオでは、ユーザは正確さだけでなく、モデルの信頼性も気にします。 本稿では,超球面空間と精度・不確かさ損失の再バランスを用いたモデルを提案する。 本モデルでは,既存の校正手法より優れ,校正基準の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-03-17T12:01:33Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。