論文の概要: Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model
- arxiv url: http://arxiv.org/abs/2611.14418v1
- Date: Tue, 10 Nov 2026 17:57:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.922255
- Title: Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model
- Title(参考訳): 需要の精度:小さな局所モデルにおける不確実な復号ステップにおける重みビットのエスカレーション
- Abstract要約: 局所デコードは通常、世代全体の1つの重みの精度を固定する。
8ビットの重みを格納し、上位4ビットでデコードし、低精度の出力分布が不確実な場合にのみ8ビットでステップを再生成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Local decoding usually fixes one weight precision for the whole generation. We study a different allocation: store 8-bit weights, decode with their top 4 bits, and redo a step at 8 bits only when the low-precision output distribution looks uncertain (entropy above a threshold or a small top-two margin). Quantization is simulated, the model is Qwen3-0.6B, and the benchmark is GSM8K. Cost is counted in weight bytes read per token. On 36724 replayed steps the entropy of the low pass ranks argmax flips with AUC 0.93. At a 15% escalation budget it catches 78% of flips and the margin gate 94%, against the 15% expected for a random gate of equal rate (a computed expectation, not a run). In 150 live problems all-high scores 64.0% and all-low 55.3% (McNemar p=0.053). An entropy gate with a 16% escalation rate scores 62.7% at 0.87 of the all-high weight bytes. Its paired difference is -1.3 (-8.0 to +5.3) points to all-high and +7.3 (+0.0 to +14.7) points to all-low (p=0.080), so the live data do not separate the gate from either end. Verified speculation reaches zero KL at similar bytes in the same cost model. A live random control, a thinking-mode phase rule, a second model and live KL were not run.
- Abstract(参考訳): 局所デコードは通常、世代全体の1つの重みの精度を補正する。
8ビットの重みを格納し、上位4ビットでデコードし、低精度の出力分布が不確実な(しきい値以上のエントロピーまたは小さなトップ2マージンのエントロピー)場合にのみステップを8ビットで再生成する。
量子化はシミュレーションされ、モデルはQwen3-0.6B、ベンチマークはGSM8Kである。
費用はトークンごとに読み取られる重量バイトに数えられる。
36724では、低域ランクのargmaxフリップのエントロピーをAUC 0.93でリプレイした。
15%のエスカレーション予算で、78%のフリップと94%のマージンゲートをキャッチし、15%のランダムなゲートが予想される(計算された予想は1回ではなく1回)。
150のライブでは、全得点64.0%、全得点55.3%(McNemar p=0.053)である。
エントロピーゲートはエスカレーションレートが16%で、全重量バイトの0.87で62.7%である。
対の差は-1.3 (-8.0 から +5.3) が全高、+7.3 (+0.0 から +14.7) が全低 (p=0.080) であるので、ライブデータはゲートを両端から分離しない。
検証された憶測は、同じコストモデルで同様のバイトでゼロKLに達する。
ライブランダム制御、思考モードフェーズルール、第2モデル、ライブKLは実行されなかった。
関連論文リスト
- How Far Does Second-Order Linear Response Predict Quantization Mismatch? Pre-Registered Measurements on Five Language Models [0.0]
低コストのスクリーンは、$tfrac12top F$を使用して、未定量モデルのFisher情報からKLのばらつきを予測する。
相対予測は16倍の範囲の摂動スケール、int4グループサイズ、ラウンドリングモードにまたがるが、絶対予測は重くなる。
目に見えないMistral-7B-v0.3ファミリーでは、6つの予測はすべてバンド内にあり、3つのKL予算が全て満たされ、vLLMスループットは0.4%以内に予測される。
論文 参考訳(メタデータ) (2026-11-09T16:11:49Z) - Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data [51.56484100374058]
Mixture-of-Experts (MoE)モデルは、小さなバッチサイズでインタラクティブデコーディング中にメモリからルート付きエクスプロイト重みをロードすることでボトルネックとなる。
チャネル選択はキャリブレーションデータを必要としないことを示す。
3つのスケッチでチャンネルを画面表示し、低ランクマップでスキップされたチャンネルを復元する。
論文 参考訳(メタデータ) (2026-10-27T15:11:35Z) - Easy to anticipate, hard to compute: boundary dependence finds the computed outputs that entropy patching misses [0.0]
Byte Latent Transformer (BLT) のようなバイトレベルの言語モデルは、パッチにバイトを分割し、パッチ毎に一度大きなグローバルモデルを実行する。
このルールには、型が予測可能であるが、値を計算しなければならない位置という、体系的な盲点があることが示される。
厳密なパッチ予算の下では、エントロピートリガーされたレイアウトはこれらの位置をスキップし、それらの精度は崩壊する。
論文 参考訳(メタデータ) (2026-10-08T12:03:45Z) - Self-Repulsive Sampling for Diffusion Language Models [42.61658629762382]
Self-Repulsion (SR) は、マスク付き拡散言語モデルのサンプルである。
パスはバッチ化されたフォワードパスを共有し、次に順番にコミットする。
投票の得票率は、主に正しい回答のより高いカバレッジから生じる。
論文 参考訳(メタデータ) (2026-09-30T11:58:40Z) - More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models [23.973226554104468]
直接決定モデルはテキストを構造化されたラベルとスコアに変換し、分類と自動評価に魅力的なものにする。
しかし、信頼性には正確性以上のものが必要であり、モデルでは、ユーザから供給される順序決定尺度を忠実に使わなければならない。
74.95%の精度、ほぼバランスの取れた金ラベル、バランスの取れた候補位置にもかかわらず、JEVが全ての予測の38.8%と51.3%のエラーをニュートラルに割り当てているANLIを調査した。
論文 参考訳(メタデータ) (2026-09-30T02:50:30Z) - From Attention Sensitivity to Layer Role: Revisiting Mixed-Precision Quantization of Transformers [30.69790852994036]
目標を3つのプロジェクションすべてに対して一度にアテンションアウトプットに書き、パイプライン全体で再利用します。
Mistral-7Bの注意のみの量子化では、これが機能する。
感度推定を必要としないロールアウェアオフセットルールは、GAT-2と完全なMistral-7BモデルでJABを上回ります。
論文 参考訳(メタデータ) (2026-09-28T10:53:49Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳(メタデータ) (2026-09-02T10:30:05Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - THEIA: Learning Complete Kleene Three-Valued Logic in a Pure-Neural Modular Architecture [0.0]
THEIAは2.75Mのモジュラー・ニューラルアーキテクチャで、外部のシンボル推論や手書きのK3ゲートプリミティブを使わずにタスクデータから完全Kleene 3値論理(K3)真理表を学習する。
トランスフォーマーのベースラインは39の規則すべてで99%に到達し、フラットは0.04pp以内のフェーズ1の精度でTheIAと一致している。
論文 参考訳(メタデータ) (2026-04-13T10:44:15Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳(メタデータ) (2022-12-19T18:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。