論文の概要: How Quantization Shapes Bias in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.18088v1
• Date: Mon, 25 Aug 2025 14:48:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.823915
• Title: How Quantization Shapes Bias in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける量子化のバイアスの形状
• Authors: Federico Marcuzzi, Xuefei Ning, Roy Schwartz, Iryna Gurevych,
• Abstract要約: 重みとアクティベーションの定量化戦略に焦点をあて、幅広いバイアスタイプにまたがる効果について検討する。 確率的および生成されたテキストベースのメトリクスを9つのベンチマークで使用し、アーキテクチャファミリや推論能力の異なるモデルを評価する。
• 参考スコア（独自算出の注目度）: 61.40435736418359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents a comprehensive evaluation of how quantization affects model bias, with particular attention to its impact on individual demographic subgroups. We focus on weight and activation quantization strategies and examine their effects across a broad range of bias types, including stereotypes, toxicity, sentiment, and fairness. We employ both probabilistic and generated text-based metrics across nine benchmarks and evaluate models varying in architecture family and reasoning ability. Our findings show that quantization has a nuanced impact on bias: while it can reduce model toxicity and does not significantly impact sentiment, it tends to slightly increase stereotypes and unfairness in generative tasks, especially under aggressive compression. These trends are generally consistent across demographic categories and model types, although their magnitude depends on the specific setting. Overall, our results highlight the importance of carefully balancing efficiency and ethical considerations when applying quantization in practice.
• Abstract（参考訳）: この研究は、量子化がモデルバイアスにどのように影響するかを包括的に評価する。 重みとアクティベーションの定量化戦略に注目し、ステレオタイプ、毒性、感情、公平性を含む幅広いバイアスタイプにまたがる効果を検証する。 確率的および生成されたテキストベースのメトリクスを9つのベンチマークで使用し、アーキテクチャファミリや推論能力の異なるモデルを評価する。 その結果, 量子化はモデル毒性を低下させ, 感情に悪影響を及ぼさないが, 生成タスクにおけるステレオタイプや不公平性をわずかに増加させる傾向がみられた。 これらの傾向は概して人口統計学のカテゴリーやモデルタイプで一致しているが、その大きさは特定の設定に依存している。 全体として,本研究は,量子化を実践する上で,効率と倫理的配慮を慎重にバランスさせることの重要性を強調した。

関連論文リスト

• Class-Dependent Perturbation Effects in Evaluating Time Series Attributions [5.136283512042341]
  以前見過ごされたクラス依存効果を特徴属性の指標で示す。 解析の結果,摂動に基づく評価は,本質的な属性品質よりも,特定のモデル行動を反映する可能性が示唆された。 本稿では,これらの効果の評価と評価を支援するために,クラス認識型ペナルティ用語を用いた評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-24T10:22:03Z)
• Biased or Flawed? Mitigating Stereotypes in Generative Language Models by Addressing Task-Specific Flaws [12.559028963968247]
  生成言語モデルは、しばしば出力の社会的バイアスを反映し増幅します。 生成モデルにおいて観測されたステレオタイプを暗黙的に緩和する目的のステレオタイプ緩和フレームワークを提案する。 複数の次元にわたるステレオタイプ出力を60%以上削減する。
  論文  参考訳（メタデータ） (2024-12-16T03:29:08Z)
• Leveraging Large Language Models and Topic Modeling for Toxicity Classification [2.1506858566021037]
  コンテンツモデレーションのためのトピック・モデリング手法を用いて,アノテータの位置がデータセットに与える影響について検討した。 その結果,特定のトピックについてモデルを微調整すると,モデルのF1スコアが顕著に向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-26T20:47:24Z)
• Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes [72.13373216644021]
  本研究では,機械学習の社会的影響を,特定の文脈に展開されるモデルの集合を考慮し検討する。 デプロイされた機械学習はシステム障害を起こしやすいため、利用可能なすべてのモデルに排他的に誤分類されているユーザもいます。 これらの例は、エコシステムレベルの分析が、機械学習の社会的影響を特徴づける独自の強みを持っていることを示している。
  論文  参考訳（メタデータ） (2023-07-12T01:11:52Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• De-biasing "bias" measurement [20.049916973204102]
  グループワイドモデルの性能格差を測定するために用いられる指標は、それらが表す基礎となる量の統計的偏りの推定値であることを示す。 本稿では,グループ間におけるモデル性能のばらつきの非バイアス推定と不確実性定量化を行う「二重補正分散推定器」を提案する。
  論文  参考訳（メタデータ） (2022-05-11T20:51:57Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。