論文の概要: The Joint Effect of Quantization and Sampling Temperature on LLM Safety Alignment: A Factorial Analysis

• arxiv url: http://arxiv.org/abs/2606.29581v1
• Date: Sun, 28 Jun 2026 19:52:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.975773
• Title: The Joint Effect of Quantization and Sampling Temperature on LLM Safety Alignment: A Factorial Analysis
• Title（参考訳）: LLMの安全性アライメントに対する量子化とサンプリング温度の併用効果:因子分析
• Abstract要約: LLMの配置は、通常、モデルを圧縮し、コスト、レイテンシ、繰り返しを減らすためにサンプリング温度を上昇させる。 これは実際的な不確実性を残している: FP16 で安全であり、フレディ復号法は定量化されサンプル化されても安全か? 本研究では,6家族,3人の精度,6人の温度から,9つの指導訓練モデルの因子的評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modern LLM deployments routinely compress models and raise sampling temperature to reduce cost, latency, or repetition, yet safety evaluations usually treat these choices as fixed implementation details. This leaves a practical uncertainty: does a model that is safe at FP16 and greedy decoding remain safe after it is quantized and sampled stochastically, or do the two deployment knobs amplify one another? We study this question with a factorial evaluation of 9 instruction-tuned models from six families, 3 precisions (FP16, GPTQ INT8, AWQ INT4), and 6 temperatures ($T{=}0$ to $1.0$), yielding 161 configurations and $\approx$322k responses judged by a six-model safety ensemble. Contrary to the concern that low-bit deployment broadly erodes alignment, standard non-adversarial quantization is usually safety-neutral: INT4 keeps or lowers attack success for 7 of 9 models, with clear degradation concentrated in the weakest baseline model, SmolLM3-3B ($18.5\%{\to}36.0\%$). The larger risk comes from sampling: higher temperature sharply increases decision instability for vulnerable models, with DFR reaching 53.0\% at $T{=}1.0$, even when average ASR changes modestly. Finally, the interaction is not a ``double penalty'': our Compound Degradation Index remains largely sub-additive ($-0.195$ to $+0.045$), indicating that quantization and temperature do not systematically compound. These results suggest a deployment rule of thumb: standard INT4/INT8 quantization can be reasonable for strongly aligned models, but safety claims at elevated temperature should report multi-sample stability, not only average attack success.
• Abstract（参考訳）: 現代のLCMデプロイメントは、モデルを定期的に圧縮し、コスト、レイテンシ、繰り返しを減らすためにサンプリング温度を上昇させるが、安全評価は通常、これらの選択を固定された実装詳細として扱う。 これは実際的な不確実性を残している: FP16 で安全なモデルであり、量子化され、統計的にサンプリングされた後、欲求復号化されるモデルは安全であり続けるか、あるいは、2つのデプロイノブが互いに増幅するのか? そこで本研究では,6つのファミリー,3つの精度(FP16, GPTQ INT8, AWQ INT4),6つの温度(T{=}0$ to $1.0$),161個の構成,および6つのモデル安全アンサンブルで判定された$\approx$322k応答の因子的評価を行った。 INT4は、最も弱いベースラインモデルであるSmolLM3-3B(18.5\%{\to}36.0\%$)に集中して、9モデル中7モデルの攻撃成功を維持または低下させる。 DFRは平均的なASRが穏やかに変化しても、T{=}1.0$で53.0\%に達する。 私たちの化合物分解指数は、主にサブ付加的な$-0.195$から$+0.045$であり、量子化と温度が体系的に複雑でないことを示している。 標準INT4/INT8量子化は、強い整合性を持つモデルには妥当であるが、高温での安全性の主張は、平均的な攻撃成功だけでなく、マルチサンプル安定性を報告すべきである。

関連論文リスト

• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• Deliberative Alignment is Deep, but Uncertainty Remains: Inference time safety improvement in reasoning via attribution of unsafe behavior to base model [50.29667251847595]
  モデルサイズが大きく,安全性が向上しているにもかかわらず,教師と生徒の言語モデルの間にはアライメントギャップがあることが示される。 本稿では,不安全な動作を潜在空間のベースLLMに還元するBoNサンプリング手法を提案する。 特に7つの教師モデルと6つの生徒モデルが異なるクラスとサイズで、平均攻撃成功率(ASR)はDANで28.2%、WildJailbreakで31.3%、StrongREJECTベンチマークで35.4%低下した。
  論文  参考訳（メタデータ） (2026-04-01T02:42:41Z)
• OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
  現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。 我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。 本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-03-10T14:16:43Z)
• NeST: Neuron Selective Tuning for LLM Safety [12.78786094112]
  大規模言語モデル(LLM)の責任ある展開には、安全性の調整が不可欠である。 我々は、少数の安全関連ニューロンを選択的に適応させることにより、拒絶行動を強化する軽量な構造対応型安全アライメントフレームワークNeSTを提案する。 我々はNeSTを、フル微調整、LORAに基づく微調整、オープンウェイトLLM10のサーキットブレーカーの3つの主要なベースラインに対してベンチマークした。
  論文  参考訳（メタデータ） (2026-02-18T20:01:01Z)
• What Matters For Safety Alignment? [38.86339753409445]
  本稿では,AIシステムの安全アライメント能力に関する総合的研究について述べる。 本研究では,6つの重要な内在モデル特性と3つの外部攻撃手法の影響を系統的に検討し,比較した。 LRMs GPT-OSS-20B, Qwen3-Next-80B-A3B-Thinking, GPT-OSS-120Bを最も安全な3つのモデルとして同定した。
  論文  参考訳（メタデータ） (2026-01-07T12:31:52Z)
• The Instability of Safety: How Random Seeds and Temperature Expose Inconsistent LLM Refusal Behavior [0.0]
  大規模な言語モデルの現在の安全性評価は単発テストに依存している。 本研究では,無作為種子と温度設定の安全性判定の安定性について検討した。
  論文  参考訳（メタデータ） (2025-12-12T22:29:13Z)
• DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models [59.45605332033458]
  安全メカニズムはバックファイアし、過剰な拒絶を引き起こし、モデルが過度に注意を払って良質な要求を減らします。 既存のベンチマークは、視覚的モダリティの過剰な拒絶に体系的に対処していない。 この設定は、命令が無害であるが付随する画像には有害な内容が含まれているというような、ユニークな課題をもたらす。
  論文  参考訳（メタデータ） (2025-10-12T23:21:34Z)
• SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
  MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。 既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。 4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
  論文  参考訳（メタデータ） (2025-10-08T10:39:12Z)
• Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
  テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。 これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。 両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T10:03:00Z)
• On Jailbreaking Quantized Language Models Through Fault Injection Attacks [3.5902882430875174]
  言語モデル(LM)の安全性の整合性は重要な問題であるが、それらの整合性は直接パラメータ操作による攻撃によって解決される。 本稿では, 異なる量子化方式におけるジェイルブレイクアライメント LM に対する攻撃の有効性について検討する。
  論文  参考訳（メタデータ） (2025-07-04T00:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。