Fugu-MT 論文翻訳(概要): Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels

論文の概要: Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels

arxiv url: http://arxiv.org/abs/2605.15208v1
Date: Sat, 02 May 2026 05:41:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-25 12:34:33.828159
Title: Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels
Title（参考訳）: 量子化とアライメント:圧縮LDMにおけるバイアスの発生と精度
Authors: Plawan Kumar Rath, Rahul Maliakkal,
Abstract要約: 大規模言語モデルは、クラウドおよびエッジデプロイメントの推論コストとメモリフットプリントを低減するために、トレーニング後の量子化を通じて定期的に圧縮される。既存の研究は通常、2つの条件のみを比較し、集約バイアスメトリクスに依存し、単一のモデルファミリを評価する。 12,148 BBQ バイアスベンチマーク項目の5つの精度レベル (BF16 - 3-bit) における3つの命令調整モデルの制御実験を行った。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models are routinely compressed via post-training quantization to reduce inference costs and memory footprint for cloud and edge deployment, yet the impact of this compression on model quality remains poorly understood. Existing studies typically compare only two conditions (full-precision vs. a single quantized variant), rely on aggregate bias metrics, and evaluate a single model family, making it impossible to distinguish gradual degradation from threshold-dependent safety failures. We conduct a controlled empirical study of three instruction-tuned models (Qwen2.5-7B, Mistral-7B, Phi-3.5-mini) at five precision levels (BF16 through 3-bit) on 12,148 BBQ bias benchmark items across 5 random seeds, totaling 911,100 inference records. Our results reveal that 3-bit quantization causes 6-21% of previously unbiased items to develop new stereotypical behaviors, following a clear dose-response pattern confirmed via logistic regression, while models' willingness to select "unknown" answers declines by 17.4%. Crucially, these item-level changes are invisible to standard quality metrics: perplexity increases by less than 0.5% at 8-bit and under 3% at 4-bit across all three models, yet 2.5-5.6% of items already develop new biases at 4-bit. These findings demonstrate that aggregate evaluation metrics systematically miss fairness-critical degradation, underscoring the need for quality-aware compression protocols that explicitly test for bias emergence before deployment.
Abstract（参考訳）: 大規模言語モデルは、クラウドやエッジデプロイメントの推論コストとメモリフットプリントを削減するために、トレーニング後の量子化を通じて定期的に圧縮されるが、モデル品質に対するこの圧縮の影響はよく分かっていない。既存の研究は一般に2つの条件(完全精度対1つの量子化変量)しか比較せず、集約バイアスの指標に依存し、単一のモデルファミリーを評価するため、段階的な劣化としきい値依存の安全性障害を区別することは不可能である。 12,148 BBQ バイアスベンチマーク項目の5つの精度レベル (BF16 から 3bit) において, 3つの命令調整モデル (Qwen2.5-7B, Mistral-7B, Phi-3.5-mini) の制御実験を行った。その結果、3ビットの量子化は、ロジスティック回帰によって確認された明確な線量応答パターンに従って、以前に偏見のない項目の6～21%が新しいステレオタイプな振る舞いを生じさせ、一方モデルが「未知」の回答を選択する意志は17.4%減少することがわかった。パープレキシティは8ビットで0.5%未満、全モデルで3%以下で4ビットで上昇するが、2.5-5.6%の項目が4ビットで新しいバイアスを発生させている。これらの結果から,アグリゲーション評価指標は公平さとクリティカルな劣化を体系的に見逃し,デプロイ前のバイアス発生を明示的に検査する品質に配慮した圧縮プロトコルの必要性が示唆された。

関連論文リスト

Weight Pruning Amplifies Bias: A Multi-Method Study of Compressed LLMs for Edge AI [0.0]
活性化認識プルーニング(Wanda)はパープレキシティをほぼ完全に保ち(Mistral-7Bでは50%の間隔でわずか3.5%増加)、最も高いバイアス増幅をもたらす。ランダムプルーニングは、言語能力を完全に破壊する(複雑度は104ドルを超え、108ドルに達する)が、ランダムチャンスバイアスしか発生しない。さらに、非構造化プルーニングは、実際のエッジハードウェアにおいて、ストレージをゼロにし、推論遅延をゼロにすることを示した。
論文参考訳（メタデータ） (2026-05-02T05:27:40Z)
MIRROR: A Hierarchical Benchmark for Metacognitive Calibration in Large Language Models [0.0]
MIRRORは、大規模言語モデルがより優れた意思決定に自己知識を使用できるかどうかを評価するベンチマークである。約25万の評価インスタンスに対して,8つの実験室から16のモデルを評価した。
論文参考訳（メタデータ） (2026-04-15T08:41:12Z)
Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文参考訳（メタデータ） (2026-04-07T17:43:18Z)
Brevity Constraints Reverse Performance Hierarchies in Language Models [0.0]
ベンチマーク問題の7.7%では、より大きな言語モデルは10-100倍のパラメータにもかかわらず、より小さな言語モデルよりも28.4ポイント低い。我々は,このメカニズムを,過度な作業を通じてエラーを発生させる自発的なスケール依存的冗長性として認識する。この結果から,大規模モデルの性能を最大化するには,スケールアウェア・プロンプト・エンジニアリングが必要であることが判明した。
論文参考訳（メタデータ） (2026-03-11T06:47:41Z)
Uncertainty Drives Social Bias Changes in Quantized Large Language Models [3.921671869527028]
学習後の量子化は、大きな言語モデルの計算コストを削減します。本稿では,PostTrainingBiasBenchで評価された50の量子化モデルの大規模研究について述べる。
論文参考訳（メタデータ） (2026-02-05T20:37:26Z)
The Devil in the Details: Emergent Misalignment, Format and Coherence in Open-Weights LLMs [0.0]
次世代オープンウェイトモデルがQwen-2.5ファミリーに類似した耐性を示すかどうかを評価する。 9つの現代的なオープンウェイトモデルにまたがって効果を再現する。
論文参考訳（メタデータ） (2025-11-25T09:25:33Z)
Agentic World Modeling for 6G: Near-Real-Time Generative State-Space Reasoning [70.56067503630486]
第6世代(6G)インテリジェンスは、流動的なトークン予測ではなく、想像と選択の能力を校正している、と我々は主張する。 We showed that WM-MS3M cuts mean absolute error (MAE) by 1.69% vs MS3M with 32% less parameters and similar latency, and achieve a 35-80% lower root mean squared error (RMSE) than attention/hybrid baselines with 2.3-4.1x faster inference。
論文参考訳（メタデータ） (2025-11-04T17:22:22Z)
Reasoning Models Are More Easily Gaslighted Than You Think [85.84943447589511]
我々はOpenAIのo4-mini、Claude-3.7-Sonnet、Gemini-2.5-Flashの3つの最先端推論モデルを評価する。ガス灯消火プロンプトによる精度低下が認められた。 GaslightingBench-Rは、推論モデルの認識可能性を評価するために設計された新しい診断ベンチマークである。
論文参考訳（メタデータ） (2025-06-11T12:52:25Z)
Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文参考訳（メタデータ） (2025-03-06T15:36:06Z)
ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
論文参考訳（メタデータ） (2025-02-04T18:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。