論文の概要: Which Decisions Low-Bit Quantization Breaks, and How to Predict Them

• arxiv url: http://arxiv.org/abs/2608.06564v3
• Date: Thu, 13 Aug 2026 05:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 16:15:26.866854
• Title: Which Decisions Low-Bit Quantization Breaks, and How to Predict Them
• Title（参考訳）: 低ビット量子化が破れる理由と予測方法
• Abstract要約: 我々は、選択されたオプションのスコアであるマージンを測定し、量子化の前と後、最良の選択肢のスコアを減らします。 損傷は比例し、大きさは固定されていない。 マージンとともにノイズが大きくなるものを含む追加のアカウントは、コール・ツー・コールかセーフティ・セルかに関わらず、単一のダメージを受ける。
• 参考スコア（独自算出の注目度）: 0.713496583173065
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Quantization is known to hurt below four bits, but nobody can say which of a model's decisions will change at a given bit-width. This matters most where a model acts rather than answers: a compressed agent stops calling its tools and, one bit lower, loses roughly half its safety refusals, while benchmark scores barely move. Prior work assumes the added noise has a roughly fixed size, which would make confident decisions safe. We measure the decision instead: the margin, the picked option's score minus its best alternative's, tracked before and after quantization across 16 models from 8 families under round-to-nearest, seven under AWQ, two under GPTQ and one under GGUF, at 8 down to 2 bits. The damage is proportional, not fixed in size: the margin is multiplied by a factor that collapses with bit-width (median 0.86 at 4 bits, 0.33 at 3, 0.00 at 2), which we call margin shrinkage. Contraction removes the protection a large margin affords; the model's own biases pick the direction: at 3 bits the decision to call a tool collapses toward inaction while the choice of which tool is untouched. No additive account, including one whose noise grows with the margin, wins a single damaged whether-to-call or safety cell (378 of 378). Given a condition's own constants the relation predicts held-out flip rates to a median 1.7 points, calibrated per decision (error 0.004 over 161,744 predictions), no flip used in the fit. Borrowed constants are wrong by 18-33 points at 3 bits, so the paired margin set has to be measured per model and bit-width: it locates breaking decisions without replacing measurement. At 4 bits the measurement is anchored to behaviour (the most likely token over the whole vocabulary is one of the item's two options in 85% of tool items); we treat the 2-bit floor as where the instrument stops measuring. No label-free repair we tested recovers more than one more bit does.
• Abstract（参考訳）: 量子化は4ビット以下で問題となることが知られているが、モデルのどの決定が特定のビット幅で変わるかは誰にも言えない。 圧縮されたエージェントがツールを呼び出すのをやめ、少し下がったところでは安全性が約半分低下し、ベンチマークスコアはほとんど動きません。 以前の作業では、追加されたノイズは概して固定されたサイズであり、確実な決定を安全にしてくれると仮定していた。 選択した選択肢のスコアであるマージンは、ラウンド・トゥ・アネレスト(ラウンド・トゥ・アネレスト)の8つのファミリーから、AWQの7つ、GPTQの2つ、GGUFの1つを8ビットから2ビットまで、量子化の前後で追跡される。 マージンはビット幅で崩壊する(中間0.86は4ビット、中間0.33は3,000は2ビット)因子によって乗算され、マージン収縮と呼ばれる。 モデル自体のバイアスが方向を選択する – 3ビットでは、どのツールを選択するかが変更されずに、ツールが不動作に向かって崩壊する、という決定が下される。 マージンとともにノイズが増大するものを含む追加のアカウントは、コール・ツー・コール・アンド・セーフティセル(378対378対378対378対378)に1つのダメージを与える。 ある条件の定数が与えられた場合、その関係は保持されるフリップレートを中央値1.7ポイントまで予測し、決定ごとに校正する(エラー0.004 over 161,744 predictions)。 ボロー定数は3ビットで18-33の点で間違っているため、ペアのマージンセットはモデルとビット幅ごとに測定されなければならない。 4ビットで測定は動作に固定され(語彙全体に対する最も可能性が高いトークンは、ツールアイテムの85%において、アイテムの2つのオプションの1つです)、2ビットのフロアを計測が停止する場所として扱う。 テストしたラベルなしの修復は、リカバリが複数回以上行われます。

関連論文リスト

• A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
  3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。 4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。 信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
  論文  参考訳（メタデータ） (2026-08-30T10:21:34Z)
• MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
  MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。 MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。 オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
  論文  参考訳（メタデータ） (2026-08-26T18:22:03Z)
• Deterministic LLM Inference Across GPU Kernels: Power-of-Two INT8 Quantization Scales and the Limits of Tolerance-Based Conformance [0.10152838128195468]
  量子化されたGEMMカーネルのコンフォーマンススイートは、2つの実装が許容範囲内で一致するかどうかを問う。 5つのエピローグ断層(スケール精度、ダブルラウンド、乗算順序、出力トランケーション、融合順序)のうちの1つが、少なくとも1つのbfloat16間隔で出力を移動していることがわかった。 5つの断層のうち4つはスイートのチェック無しで検出され、5番目は2つのスケールでのみ検出される。
  論文  参考訳（メタデータ） (2026-08-25T03:05:54Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• Bigger or Cheaper? Scale and Quantization Effects on Uncertainty Signals in Vision-Language Models Under Image Degradation [0.0]
  モデルスケールと4ビット量子化がQwen2-VLファミリーの2つの信頼信号にどのように影響するかを同一の入力で測定する。 スケールはモデルの内部不確実性信号を大幅に改善する。 誤差検出AUROCは校正誤差ではなく、2つの信号の差を露呈する計量であると主張する。
  論文  参考訳（メタデータ） (2026-07-27T13:47:44Z)
• The C-index illusion: discrimination without calibration in published survival models [0.0]
  我々は3つの構造的に異なる領域にまたがって3つのサバイバル-MLモデルを再現する。 ホルム補正された家族的誤り率の下で,5つの事前登録仮説を検証した。
  論文  参考訳（メタデータ） (2026-07-21T19:13:54Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Determinants and Limits of LLM Security-Tool Orchestration: A Study with HexStrike-AI [2.2616066835313253]
  7つのカテゴリと3つの難易度で86のPicoCTF課題を実行し、3つのツールアクセスレジームと3つのモデル/クライアント構成で実行します。 既存のツール,エージェント・ビヘイビアの変更,11の新たな機能ツールに修正を適用し,これまで未経験だったトライアルを再実行します。 全体の解決率は55.4%から72.0%に上昇し、全ての構成が大幅に改善される。
  論文  参考訳（メタデータ） (2026-07-03T02:20:04Z)
• YUKTI: From Natural-Language Situations to Robust, Verifiable Decisions An Uncertainty-Typed Proposition IR, Assumption-Robust Pareto Frontiers, and a Regret Certificate [0.0]
  我々は,YUKTIが各ステージを正確に,非線形,あるいは進化的解法にルートすることを示す。 我々は,決定的後悔の正確な要因として境界作成rhoを証明し,監査可能なトレーサビリティを付加し,ベンチマークに忠実なデータ基盤を合成する。 規制上の不特定の下では、堅牢な妥協が平均とテールの後悔を90%以上削減し、単純なポイントプランと比較し、規制された商業上の決定では、合法的な行動空間内で最適化し、ユーロの下落価格を下げる。
  論文  参考訳（メタデータ） (2026-06-22T09:29:13Z)
• The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel [0.0]
  パネルと、空白とゼロのスコアを区別する適用性ルールと、アクターが何をするかを区別するレンズシステムについて説明する。 私は、まだ欠落している人間のバリデーションを含め、このメソッドができないことを平気で考え、楽器とデータをフルにリリースします。
  論文  参考訳（メタデータ） (2026-06-22T08:48:50Z)
• Tracing LLM Reasoning Processes with Strategic Games: A Framework for Planning, Revision, and Resource-Constrained Decision Making [38.75183725659772]
  大規模言語モデル(LLM)は、複雑な推論を必要とするタスクにますます使われている。 モデル動作の理解と信頼性向上には,内部プロセスの測定が不可欠である,と我々は主張する。 計画,修正,資源制約のある意思決定という3つの中核的な側面に沿ってLCMを評価する枠組みを導入する。
  論文  参考訳（メタデータ） (2025-06-13T17:59:10Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration [118.26862029820447]
  我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。 決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
  論文  参考訳（メタデータ） (2021-07-12T20:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。