論文の概要: Uncertainty Drives Social Bias Changes in Quantized Large Language Models

• arxiv url: http://arxiv.org/abs/2602.06181v1
• Date: Thu, 05 Feb 2026 20:37:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.103991
• Title: Uncertainty Drives Social Bias Changes in Quantized Large Language Models
• Title（参考訳）: 不確実性は、量子化された大規模言語モデルにおける社会バイアスの変化を駆動する
• Authors: Stanley Z. Hua, Sanae Lotfi, Irene Y. Chen,
• Abstract要約: 学習後の量子化は、大きな言語モデルの計算コストを削減します。 本稿では,PostTrainingBiasBenchで評価された50の量子化モデルの大規模研究について述べる。
• 参考スコア（独自算出の注目度）: 3.921671869527028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization reduces the computational cost of large language models but fundamentally alters their social biases in ways that aggregate metrics fail to capture. We present the first large-scale study of 50 quantized models evaluated on PostTrainingBiasBench, a unified benchmark of 13 closed- and open-ended bias datasets. We identify a phenomenon we term quantization-induced masked bias flipping, in which up to 21% of responses flip between biased and unbiased states after quantization, despite showing no change in aggregate bias scores. These flips are strongly driven by model uncertainty, where the responses with high uncertainty are 3-11x more likely to change than the confident ones. Quantization strength amplifies this effect, with 4-bit quantized models exhibiting 4-6x more behavioral changes than 8-bit quantized models. Critically, these changes create asymmetric impacts across demographic groups, where bias can worsen by up to 18.6% for some groups while improving by 14.1% for others, yielding misleadingly neutral aggregate outcomes. Larger models show no consistent robustness advantage, and group-specific shifts vary unpredictably across model families. Our findings demonstrate that compression fundamentally alters bias patterns, requiring crucial post-quantization evaluation and interventions to ensure reliability in practice.
• Abstract（参考訳）: 学習後の量子化は、大きな言語モデルの計算コストを削減しますが、集約されたメトリクスが捕捉できない方法で、その社会的バイアスを根本的に変えます。 本稿では,PostTrainingBiasBenchで評価された50の量子化モデルについて,13の閉および開のバイアスデータセットの統一ベンチマークを行った。 偏差値の変動は見られなかったものの,偏差状態と偏差のない状態の間に最大21%の応答が反転する現象を量子化誘導型マスクバイアスフリップと呼ぶ現象を同定した。 これらのフリップはモデルの不確実性によって強く駆動され、高い不確実性を持つ応答は、自信のある応答よりも3-11倍の確率で変化する。 量子化強度はこの効果を増幅し、4ビット量子化モデルは8ビット量子化モデルよりも4-6倍の挙動変化を示す。 批判的に、これらの変化は人口集団全体で非対称な影響を生じさせ、一部の集団ではバイアスが最大18.6%悪化し、他の集団では14.1%改善し、誤解を招くほど中立的な集合結果をもたらす。 より大きなモデルは一貫性のあるロバスト性優位性を示しておらず、グループ固有のシフトはモデルファミリ間で予測不可能に変化する。 本研究は,圧縮がバイアスパターンを根本的に変化させることを示した。

関連論文リスト

• Self-Transparency Failures in Expert-Persona LLMs: A Large-Scale Behavioral Audit [0.0]
  本研究では,ハイテイクドメインにおけるプロフェッショナルペルソナの割り当て時に,モデルが自己透明性を示すか否かを検討する。 ファイナンシャル・アドバイザー・ペルソナは最初のプロンプトで30.8%、ニューロサージョン・ペルソナはわずか3.5%だった。 これにより、仮説化された逆ゲルマン・アムネシア効果の前提条件が作成され、いくつかの領域における適切な開示により、ユーザーは高文脈への信頼を過度に一般化する。
  論文  参考訳（メタデータ） (2025-11-26T16:41:49Z)
• How Quantization Shapes Bias in Large Language Models [61.40435736418359]
  重みとアクティベーションの定量化戦略に焦点をあて、幅広いバイアスタイプにまたがる効果について検討する。 確率的および生成されたテキストベースのメトリクスを9つのベンチマークで使用し、アーキテクチャファミリや推論能力の異なるモデルを評価する。
  論文  参考訳（メタデータ） (2025-08-25T14:48:26Z)
• You Never Know: Quantization Induces Inconsistent Biases in Vision-Language Foundation Models [15.067035577724502]
  本研究では,基礎的なビジョン言語モデルを圧縮する標準的な実践が,社会的にフェアなアウトプットを生成できるモデル能力に与える影響について検討する。 量子化により圧縮されたモデルの集団間でバイアス等級や方向が一貫した変化は見つからない。
  論文  参考訳（メタデータ） (2024-10-26T20:31:41Z)
• Exploring the Trade-Offs: Quantization Methods, Task Difficulty, and Model Size in Large Language Models From Edge to Giant [11.832907585157638]
  量子化は、大規模および小規模言語モデルのコスト効率のよいデプロイのための有望なソリューションとして注目を集めている。 1Bから405Bパラメータにまたがる命令調整モデルの総合評価を行い、13のデータセットに対して4つの量子化手法を適用した。
  論文  参考訳（メタデータ） (2024-09-17T10:31:37Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。