論文の概要: When PTQ Calibration Helps or Hurts: Dose-Driven Collapse and Validation-Gated Abstention in Quantized Text Embedders
- arxiv url: http://arxiv.org/abs/2610.27397v1
- Date: Mon, 19 Oct 2026 23:43:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.552058
- Title: When PTQ Calibration Helps or Hurts: Dose-Driven Collapse and Validation-Gated Abstention in Quantized Text Embedders
- Title（参考訳）: PTQ校正が役にたつとき: 量子テキスト埋め込みにおける線量駆動型崩壊と検証ゲート型吸収
- Abstract要約: 学習後量子化(PTQ)キャリブレーションは、小さなキャリブレーションセット上の量子化器パラメータに適合する。
3つの埋め込み器(e5-base-v2, BGE-M3, EmbeddingGemma-300m)を4ビットの量子化で161キャリブレーションし, 固定手順の結果はゲインから破滅的な劣化に至る。
- 参考スコア（独自算出の注目度）: 9.875772420350168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learned post-training quantization (PTQ) calibration fits quantizer parameters on a small calibration set, and for a text embedder the natural supervision is retrieval relevance. We ask two questions that are usually conflated: how far to calibrate, and whether to calibrate at all. Across three embedders (e5-base-v2, BGE-M3, EmbeddingGemma-300m) at 4-bit weight quantization, 161 calibration runs, the outcome of a fixed procedure ranges from a gain to catastrophic degradation, and the driver is the dose of the update, measured as the functional displacement D_func of the quantized model from its uncalibrated start. On EmbeddingGemma the same learning-rate grid gives +1.47 to -71.53 points of in-domain NDCG@10 change; a label-free cosine objective collapses at the same dose (-69.52 vs -71.63), so the collapse is a property of learnable calibration rather than of retrieval supervision. Objective sensitivity is heterogeneous: on e5, ranking calibration is substantially more robust than cosine at matched displacement (+14.16 +/- 4.34 pp, 95% t-CI [+3.37, +24.96], three paired slates), whereas on BGE-M3 the ordering is directionally opposite but unresolved ([-5.18, +2.38]). Dose is the main axis but not a sufficient statistic: equal D_func reached along different paths differs by up to 1.61 pp. We therefore treat calibration as an optional intervention. A pre-registered rule that accepts a checkpoint only when a per-query paired confidence interval on a 25% calibration-validation split clears the uncalibrated baseline was run on 6 independent slates and five arms. It never selected a checkpoint below its slate's baseline (0 harmful selections in 30 decisions), retained 8 of 11 beneficial updates, and paid a mean oracle regret of 1.52 pp with one abstention that forfeited 11.13 pp, a safety-opportunity trade-off, not a free improvement. We report what remains open, including label efficiency.
- Abstract（参考訳）: 学習後量子化(PTQ)キャリブレーションは、小さなキャリブレーションセットに量子化器パラメータを適合させる。
通常混同される2つの質問 – キャリブレーションまでの距離と,キャリブレーションをまったく行わないか – を問う。
3つの埋め込み装置(e5-base-v2, BGE-M3, EmbeddingGemma-300m)を4ビットの量子化で行い、161のキャリブレーションを実行し、固定手順の結果はゲインから破滅的劣化までの範囲で、運転者は、その未調整開始から量子化モデルの機能変位D_funcとして測定された更新の用量である。
EmbeddingGemmaでは、同じ学習レートグリッドで、+1.47から-71.53ポイントのドメイン内NDCG@10が変更され、ラベルのないコサイン目標が同じ量(-69.52対-71.63)で崩壊する。
e5では、ランクキャリブレーションは、一致する変位(+14.16 +/- 4.34 pp, 95% t-CI [+3.37, +24.96], three paired slates)でコサインよりもかなり頑丈であるのに対し、BGE-M3では、順序は反対だが未解決([-5.18, +2.38])である。
ドーズは主軸であるが、十分な統計量ではない:異なる経路に沿って到達した等しいD_funcは、最大 1.61 pp まで異なる。
したがって、キャリブレーションをオプションの介入として扱う。
25%のキャリブレーションバリデーション分割で1対の自信区間がクリアされた場合にのみチェックポイントを受け入れる事前登録されたルールは、6つの独立したスレートと5つのアームで未調整のベースラインが実行された。
スレートの基準線より下のチェックポイント(30の判定で有害な選択が0点)を選定することはなく、11の有益な更新のうち8点を保ち、平均して1.52ppと、安全機会トレードオフである11.13ppを禁止した1つの棄権で、平均的なオラクルの後悔を払った。
ラベルの効率など、オープンなままのものを報告します。
関連論文リスト
- CALM-5G: Event-Level Conformal Risk Control for Predictive Service-Assurance Alarms [0.0]
CALM-5Gは保証層であり、予測バックボーンの上に動作し、分布のない有限サンプル保証でアラームを発行する。
サービスレベルの違反イベントをキャリブレーションし、スコア違反のオンセットがサンプルから直接キャリブレーションスキームを選択し、認定されたすべてのミスレートでアラームデューティサイクルを報告します。
論文 参考訳（メタデータ） (2026-10-13T08:40:04Z) - RECAP: Calibrating Low-Bit Reasoning Models on the History They Read [43.47308086162733]
学習後の量子化法は、彼らが読んだ歴史に関する推論モデルを校正する。
本稿では,学習後量子化手法RECAPについて述べる。
論文 参考訳（メタデータ） (2026-10-11T01:10:33Z) - ConformalGuard: False-Positive-Controlled Action Gating for LM Classifiers [1.182797073319109]
ConformalGuardは、正規入力が介入層をトリガーする速度を有限サンプル制御で固定スコア関数をラップする。
我々は,これらの手法を,公衆メールコーパスにおける細調整BERT,Claude Sonnet 4,GPT-4oの共形校正法と比較した。
論文 参考訳（メタデータ） (2026-10-09T22:39:37Z) - Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳（メタデータ） (2026-09-28T14:31:19Z) - PulseQuant: Propagation-Guided Subspace Correction for 4-Bit Video Diffusion Transformers [46.65151972014436]
PulseQuantは、軌道感度とアクティベーション幾何を組み合わせてオフラインキャリブレーションを誘導する4ビット後量子化法である。
制御された介入は、短水平伝播誤差が即時ブロック出力誤差よりも確実に最終潜時誤差を予測することを示している。
論文 参考訳（メタデータ） (2026-09-27T09:04:51Z) - Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。
トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。
重量のみの量子化下での活性化ステアリングを系統的に研究する。
論文 参考訳（メタデータ） (2026-09-06T08:41:42Z) - Calibration-Preserving Pruning: Compression as a Reliability Contract [6.908972852063454]
プルーニング規則ではなく、分割された共形予測は、プルーニングモデルが固定されると有限サンプルの限界カバレッジを提供する。
プルーニングは、より小さな有効な予測セットを得るのに十分なスコア幾何学を保てるか?
CPP-SparseGPTは15個のデータセット・スパーシティセルにまたがって13個のデータセットを生成し,11。
論文 参考訳（メタデータ） (2026-08-24T18:31:01Z) - Beyond Activation Alignment:The Alignment-Diversity Tradeoff in Task-Aware LLM Quantization [36.286359836094086]
キャリブレーションデータ合成と混合精度ビット割り当てを協調的に最適化するためのTAS(Task-Aware Sensitivity Analysis)を提案する。
LLaMA-3-8B と Qwen2.5-7B の実験では精度の反転が明らかにされている。
論文 参考訳（メタデータ） (2026-07-01T13:12:21Z) - Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection [0.0]
マルチエージェントの議論は事実と推論を改善するが、ほとんどのレシピは固定されたラウンドカウントを選択する。
我々は,LLM討論のプラグイン計算として,Wald's Sequential Probability Ratio Test (SPRT)を適用した。
GSM8Kでは、ルールは1.01ラウンド(4.06 LLMコール)で97.0%の精度で終了するが、15回のコールで固定5の討論では99.0%の精度で終了する。
MMLUでは、キャリブレーションされたKLは約0に崩壊し、ルール上限は2.1倍のコストで99.5%となる。
論文 参考訳（メタデータ） (2026-05-18T23:43:12Z) - On the Calibration of Human Pose Estimation [39.15814732856338]
Calibrated ConfidenceNet (CCNet)は、市販のポーズ推定フレームワークでAPを最大1.4%改善する軽量なポストホック追加である。
メッシュリカバリの下流タスクに適用されたCCNetは、3Dキーポイントエラーを1.0mm削減する。
論文 参考訳（メタデータ） (2023-11-28T09:31:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。