論文の概要: One Model, Two Precisions: Does Disagreement Between Quantized Copies Tell You When a Small Model Is Wrong?
- arxiv url: http://arxiv.org/abs/2611.16478v1
- Date: Thu, 12 Nov 2026 08:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.401035
- Title: One Model, Two Precisions: Does Disagreement Between Quantized Copies Tell You When a Small Model Is Wrong?
- Title(参考訳): 1つのモデルと2つの精度:小さなモデルがいつ間違っているか、量子化されたコピーの相違は教えてくれるのか?
- Abstract要約: 局所言語モデルはいくつかの精度で存在し、量子化は個々の答えを変えることが知られている。
我々はQwen3-0.6B および Qwen3-1.7B 上で、グループ単位のスケール (3 から 6 ビット、32 から 256 の群) で円-熱間量子化をシミュレートする。
信号が量子化に特有な証拠は見つからず、タスクやエントロピーのセルで特徴をシャッフルすることで利得が取り除かれる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Local language models often exist at several precisions, and quantization is known to change individual answers. This study asks whether the disagreement between two precisions of the same weights, an 8-bit copy that answers and a lower-precision copy that reads the same prompt, works as a per-question error score for abstention, escalation and re-asking. The cost is one extra forward pass over fewer bytes, with no sampling and no training. We simulate round-to-nearest quantization with per-group scales (3 to 6 bits, groups of 32 to 256) on Qwen3-0.6B and Qwen3-1.7B and score 8,398 multiple-choice questions from ARC-Easy, ARC-Challenge, MMLU and HellaSwag subsets. Error detection is measured by AUROC, risk-coverage curves and ECE on a held-out half, with paired bootstrap intervals over questions. For Qwen3-0.6B, the entropy of the 8-bit answer reaches AUROC 0.682; the best disagreement score, selected on a development half, reaches 0.684 (+0.001 [-0.009, +0.011]), and combining it with the confidence features adds +0.009 [+0.002, +0.015], mostly on ARC. On Qwen3-1.7B the selected score is -0.001 [-0.009, +0.006] from entropy and the combination +0.003 [-0.001, +0.006] on the test half. Gaussian weight noise at matched error energy is about as informative as rounding (0.6B only), so we find no evidence that the signal is specific to quantization, and shuffling the features within task and entropy cells removes the gain. One extra 8-bit pass that shifts the option order does better (+0.049 [+0.031, +0.067] over entropy) at about a third more weight traffic; routing to a larger model on free entropy beats both extra-pass scores at equal total traffic. After logistic recalibration the 0.6B confidences are calibrated within a few points of ECE. A deployment recipe and the cases where the method does not help are given.
- Abstract(参考訳): 局所言語モデルはいくつかの精度で存在し、量子化は個々の答えを変えることが知られている。
本研究では、同じ重みの2つの精度の相違点、答えの8ビットコピー、同じプロンプトを読み取る低精度コピーが、棄権、エスカレーション、再解答の1問あたりの誤差スコアとして機能するかどうかを問う。
コストは、サンプリングもトレーニングも不要で、バイト数が減る余分なフォワードパスである。
ARC-Easy, ARC-Challenge, MMLU, およびHellaSwagサブセットから, Qwen3-0.6B および Qwen3-1.7B 上で, グループ単位のスケール (3~6ビット, 32~256 の群) によるラウンド・ツー・アレスト量子化をシミュレートし, ARC-Easy, ARC-Challenge, MMLU, および HellaSwag から8,398 の多重選択問題を得た。
エラー検出は、AUROC、リスクカバレッジ曲線、ECEによって、質問に対してペアのブートストラップ間隔で測定される。
Qwen3-0.6B では、8ビット応答のエントロピーは AUROC 0.682 に達し、開発半分で選択された最良の不一致スコアは 0.684 (+0.001 [-0.009, +0.011]) に達し、信頼性特徴と組み合わせると +0.009 [+0.002, +0.015] となる。
Qwen3-1.7Bでは、選択されたスコアはエントロピーから−0.001[-0.009, +0.006]、テストハーフで+0.003[-0.001, +0.006]となる。
一致した誤差エネルギーにおけるガウスの重み付けノイズは、丸み付け(0.6Bのみ)と同じくらい情報的であるため、信号が量子化に固有の証拠は見つからず、タスクやエントロピーセル内の特徴をシャッフルすると利得が取り除かれる。
オプション順をシフトする余分な8ビットパス(+0.049[+0.031, +0.067])は、約3分の1の重量輸送で改善される。
ロジスティックなリカレーションの後、0.6Bの信頼度はECEのいくつかのポイントで調整される。
デプロイメントのレシピと、メソッドが役に立たないケースが与えられる。
関連論文リスト
- Recalibrating a Typed-Decision Model in an Afternoon: A Hands-On Recipe for Laya's Confidence Scores [0.0]
このチュートリアルでは、標準メソッドで130行のnumpyで5段階のレシピ(測定、診断、適合、検証、デプロイ)を提供する。
リトレーニングチェックポイントは、バケット当たりのテーブルを格納せず、格納された12オプション値0.1006は、実行時に0.5にクランプされる。
論文 参考訳(メタデータ) (2026-11-12T09:02:57Z) - Bits or permutations? Spending a fixed inference budget on weight precision or on option-order averaging in small local language models [0.0]
ローカル言語モデルは、より少ないビットに重みを格納することでメモリを節約できる。
数回のリオーダーを平均化することで、回答オプションの順序に対する感度を低下させることができる。
第1弾が第2弾を悪くするのかどうかを問うとともに、固定予算を使うためのより安価な方法も問う。
論文 参考訳(メタデータ) (2026-11-10T17:53:44Z) - Swap, Replicate, Read the Mass: A Protocol for Auditing Demographic Bias in System One Decision Models [41.99844472131922]
システム1決定モデルは、テキスト生成を型付き、確率対応の回答に置き換え、生産に入る。
BBQ(全11カテゴリ)、CrowS-Pairs、SilverSpoonの3つのベンチマークを、型付きインターフェースに適合させる。
我々は、偏見よりも不安定性を追跡するような、広範囲なステレオタイプアライメント、秩序に依存した回答、信頼を見いだす。
論文 参考訳(メタデータ) (2026-10-31T00:36:15Z) - Trust Mechanisms for Offline Generative AI at the Edge: A Connectivity-Regime Framework and an Empirical Study on a Raspberry Pi 5 [45.88028371034407]
ジェネレーティブAIと大規模言語モデル(LLM)がモノのインターネットに移行しつつある。
ほとんどのデプロイメントはクラウド接続を前提としており、多くのIoT設定は断続的、制限的、あるいは接続不能である。
提案するコネクティビティ・レジーム・フレームワーク (C0-C4) は, 推論時信頼機構の分類法であり, 署名されたバージョン付き知識パックである。
論文 参考訳(メタデータ) (2026-10-24T15:23:25Z) - Correctness Is a Direction: Geometric Answer Selection in Language Models [37.52103844741668]
スコアリング方向がゼロショットログ確率スコアよりも優れていることを示す。
事実推論、ドメイン知識、真性に対する正当性方向は表現空間においてほぼ直交である。
論文 参考訳(メタデータ) (2026-10-03T13:21:04Z) - Self-Repulsive Sampling for Diffusion Language Models [42.61658629762382]
Self-Repulsion (SR) は、マスク付き拡散言語モデルのサンプルである。
パスはバッチ化されたフォワードパスを共有し、次に順番にコミットする。
投票の得票率は、主に正しい回答のより高いカバレッジから生じる。
論文 参考訳(メタデータ) (2026-09-30T11:58:40Z) - Quantization Error Is Spectrally Flat: A Single Random Probe Is a Calibrated, Data-Free Sensitivity Estimator, with Application to Budget-Targeted Mixed-Precision Quantization [0.0]
単一のランダムガウスプローブは、層の量子化誤差の偏りのない推定を与える。
35B MoEと9B高密度モデルからの1,683個のテンソルを横切ると、有効次元は、同じ形状の雑音値の0.93から0.96倍になる。
1つのプローブはテンソルあたりの感度を4から7%の範囲で測定し、20個のプローブは1.3から1.4%に達する。
論文 参考訳(メタデータ) (2026-09-27T21:03:53Z) - Calibration, Not Answer Selection: Distilling Internal Confidence in Reasoning Models [34.46304985255693]
言語化された自信は、モデルが答えにコミットする意思があるかを追跡します。
実際の質問応答では、思考の連鎖と答えの間の隠れ状態に対する線形プローブは、かなりよく校正されている。
Probe-SDは、モデル自身のサンプルトレースをプローブでスコアし、各トレース状態の信頼性を上書きし、同じファミリーのベースチェックポイントを微調整する。
論文 参考訳(メタデータ) (2026-09-27T06:52:17Z) - Quantization Amplifies Determinism, Not Bias: Scale-Dependent Behavioral Effects of Serving-Time Weight Compression [0.0]
中規模のモデルの量子化は、しばしば「ほぼ自由」と見なされる
いくつかの答えが有効であれば、量子化はモデルが言うべきことを変えるのか?
3つのチェックポイント(Qwen3-8B/14B/32B)を3つのウェイト精度(W4A16 AWQ、W8A16 FP8-Marlin、bf16)で提供する。
私たちは、プロンプトとシードで組み合わせた約71,000個のコンプリートを、2つのカスタムなリークチェックされたプロンプトバッテリーで収集します。
論文 参考訳(メタデータ) (2026-09-07T19:06:31Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。