論文の概要: Audit at the Precision You Deploy: Quantization Reshapes a Subliminally Learned Preference

• arxiv url: http://arxiv.org/abs/2611.00665v1
• Date: Sat, 31 Oct 2026 06:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.424283
• Title: Audit at the Precision You Deploy: Quantization Reshapes a Subliminally Learned Preference
• Title（参考訳）: デプロイの正確さに耳を傾ける:量子化は、サブリミナルに学習された選好に反する
• Abstract要約: サブリミナル学習により、AIモデルは、一見無関係なトレーニングデータから隠れた好みを継承することができる。 安全監査は16ビットの標準精度でモデルを評価することができ、配置は圧縮された量子化重量を使用することができる。 量子化がサブリミナルな嗜好の表現を変えるのか、どのような結果をもたらすのかを問う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subliminal learning allows AI models to inherit hidden preferences from seemingly unrelated training data, such as number sequences. Safety audits may evaluate models at standard 16-bit precision, while deployments may use compressed, quantized weights. We ask whether quantization changes the expression of a subliminal preference and what drives any resulting change. To investigate, we implant a "favourite animal: panda" preference into Qwen2.5-7B-Instruct. We define its net strength as the difference in mean panda-answer probability between subliminal models and neutrally trained controls under the same quantization setting. Applying this metric across different compression levels reveals a stark contrast. While behaviour remains stable at 8 bits, 4-bit quantization triggers severe, opposing shifts depending on the quantizer. Half-Quadratic Quantization (HQQ) amplifies the preference, raising the subliminally trained model's panda probability from roughly 55% at 16 bits to 64% at 4 bits, while the controls stay near 17%. This raises the trait's net strength ~1.3 times its 16-bit value. In contrast, NormalFloat (NF4) at 4-bit suppresses it, shrinking the net strength to just ~0.3 times its 16-bit value, despite producing rounding errors of the same size to within 4%. We examine the structure of the rounding errors and find that their arrangement drives the divergence. Randomly shuffling HQQ's errors within each quantization group, without changing their magnitude, shifts the trait's net strength between 0.2 and 1.6 times its 16-bit value. Despite these opposing shifts, the underlying fine-tuning signal remains largely intact. Because a model's internal state and outward behaviour diverge so unpredictably under compression, a 16-bit audit cannot reliably bound real-world risks. Safety evaluations must test the exact quantized weights intended for deployment.
• Abstract（参考訳）: サブリミナル学習により、AIモデルは、数列のような、一見無関係のトレーニングデータから隠れた好みを継承することができる。 安全監査は16ビットの標準精度でモデルを評価することができ、配置は圧縮された量子化重量を使用することができる。 量子化がサブリミナルな嗜好の表現を変えるのか、どのような結果をもたらすのかを問う。 そこで本研究では,Qwen2.5-7B-Instructに"favourite animal: panda"の嗜好を注入した。 我々は、その純強度を、同じ量子化条件下でのサブリミナルモデルと中立的に訓練された制御間の平均パンダ答え確率の差として定義する。 このメトリックを異なる圧縮レベルに適用すると、非常に対照的な結果が得られます。 動作は8ビットで安定であるが、4ビットの量子化は、量子化器によって反対のシフトを引き起こす。 半量子量子化(HQQ)は好みを増幅し、サブリミナルに訓練されたモデルのパンダ確率は16ビットで約55%から4ビットで64%に上昇し、コントロールは17%近くにとどまる。 これにより、特性の純強度は16ビット値の1.3倍になる。 対照的に、通常のFloat (NF4) は4ビットでそれを抑制し、同じ大きさの丸め誤差が4%以内であるにもかかわらず、純強度を16ビット値の0.3倍に縮める。 丸め誤差の構造を調べた結果,その配置が分岐を駆動していることが判明した。 各量子化グループ内のHQQの誤差をランダムにシャッフルし、大きさを変更せずに、特性のネット強度を16ビット値の0.2から1.6倍にシフトさせる。 これらの反対のシフトにもかかわらず、基礎となる微調整信号はほとんど無傷である。 モデルの内部状態と外向きの振る舞いは、圧縮下では予測不可能なほど分散するため、16ビット監査は現実世界のリスクを確実に束縛することはできない。 安全性評価は、展開を意図した正確な量化重量をテストする必要がある。

関連論文リスト

• What "Form'' of Uncertainty Does Conformal Prediction Quantify? [74.55046468525228]
  Conformal Prediction (CP) は、分布のないカバレッジ保証付き予測セットを返すポストホックキャリブレーション法である。 完全CPと分割CPのセットサイズの違いはベイズ後方分散に直接関係していることが示される。
  論文  参考訳（メタデータ） (2026-10-17T07:08:06Z)
• Quantization Amplifies Determinism, Not Bias: Scale-Dependent Behavioral Effects of Serving-Time Weight Compression [0.0]
  中規模のモデルの量子化は、しばしば「ほぼ自由」と見なされる いくつかの答えが有効であれば、量子化はモデルが言うべきことを変えるのか? 3つのチェックポイント(Qwen3-8B/14B/32B)を3つのウェイト精度(W4A16 AWQ、W8A16 FP8-Marlin、bf16)で提供する。 私たちは、プロンプトとシードで組み合わせた約71,000個のコンプリートを、2つのカスタムなリークチェックされたプロンプトバッテリーで収集します。
  論文  参考訳（メタデータ） (2026-09-07T19:06:31Z)
• Accuracy is Not Enough: A Divergence-Based Approach to Evaluate Fidelity Loss in Quantized LLMs [13.897073114465094]
  メモリ制約エッジデバイスへのLLM(Large Language Models)の展開は、攻撃的なポストトレーニング量子化に大きく依存する。 本稿では,LLMにおける情報損失を定量化する分散感性評価フレームワークを提案する。 我々は、BF16基準に対する確率質量変位と分布のドリフトを定量化し、トップ1の精度に反映されない予測分布の変化を捉える。
  論文  参考訳（メタデータ） (2026-09-07T15:49:52Z)
• Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs [0.23438564092609357]
  プロアクティブ干渉(英: Proactive interference, PI)は、大規模言語モデルにおける文書化された障害モードであり、繰り返し上書きされた値の検索は、事前上書きが蓄積されるにつれて劣化する。 PTQは現在、オープンウェイトモデルのデフォルトのデプロイメントパスとなっているが、この障害モードへの影響はテストされていない。 アーキテクチャ的に異なる3つの命令調整モデルの3つの精度レベル(FP16, INT8, INT4/NF4, ビット/バイト)を評価する。
  論文  参考訳（メタデータ） (2026-08-19T06:17:13Z)
• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• Differentiable Model Compression via Pseudo Quantization Noise [99.89011673907814]
  本稿では,モデルパラメータに独立な擬似量子化雑音を加えて量子化演算子の効果を近似する。 本手法が,画像分類,言語モデリング,音声ソース分離などのベンチマークやアーキテクチャにおいて,最先端の量子化技術を上回ることを実験的に検証した。
  論文  参考訳（メタデータ） (2021-04-20T14:14:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。