論文の概要: Effects of Model Scale and Quantization on Social Bias and Abstention in Question Answering

• arxiv url: http://arxiv.org/abs/2610.29657v1
• Date: Wed, 21 Oct 2026 12:38:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.359314
• Title: Effects of Model Scale and Quantization on Social Bias and Abstention in Question Answering
• Title（参考訳）: 質問応答におけるモデル尺度と量子化が社会的バイアスと無視に及ぼす影響
• Abstract要約: リソース制約のある設定に小さな量子化された言語モデルを配置することは、重要な公平性の問題を引き起こす。 本稿では,複数のモデルサイズと量子化設定にまたがるBBQベンチマークを用いて,質問応答(QA)におけるこの問題について検討する。
• 参考スコア（独自算出の注目度）: 0.1784233255402269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The deployment of small and quantized language models in resource-constrained settings raises an important fairness question: when a compressed model produces fewer biased responses, does this reflect fairer behavior or greater abstention? We study this problem in Question Answering (QA) using the BBQ benchmark across multiple model sizes and quantization settings from Qwen3, Gemma-3, and SmolLM2. We also examine whether the observed trends remain stable across alternative prompt formulations and when the ``Unknown'' option is removed in a forced-choice setting. Our results show that larger models achieved higher QA accuracy, but bias showed no simple scaling trend and quantization effects varied across configurations. Notably, 20 of the 26 configurations with fewer biased responses also show increased over-abstention, indicating that lower observed bias can partly reflect greater abstention. These findings show that lower observed bias can partly reflect greater abstention, and that fairness evaluation should consider biased responses, abstention, prompt formulation, and answer-option design jointly.
• Abstract（参考訳）: リソース制約のある設定に小さな量子化された言語モデルを配置することは、重要な公平性の問題を引き起こす。圧縮されたモデルがバイアスの少ないレスポンスを生成する場合、これはより公平な振る舞いやより控えめな振る舞いを反映するのだろうか? 本稿では,複数のモデルサイズにまたがるBBQベンチマークとQwen3,Gemma-3,SmolLM2の量子化設定を用いた質問応答(QA)におけるこの問題について検討する。 また、観測された傾向が他のプロンプトの定式化にまたがって安定なままなのか、強制選択設定で 'Unknown' オプションが削除されるのかについても検討する。 以上の結果から,大規模モデルではQA精度が向上したが,単純なスケーリング傾向は見られず,量子化効果は構成によって異なることがわかった。 特に、バイアスの少ない26の構成のうち20は、過剰吸収が増加しており、観察されるバイアスの低さは、部分的により大きな吸収を反映できることを示している。 以上の結果から, 偏見の低さは, より大きな偏見を反映しうること, 公平性評価は, 偏見応答, 棄却, 迅速な定式化, 解答選択設計を共同で考慮すべきであることが示唆された。

関連論文リスト

• Investigating Length Bias and Robustness in LVLMs for Multiple-Choice Question Answering [4.099867614294884]
  LVLM(Large Vision-Language Models)は、MCQA(Multiple-choice Question answering)において強い性能を示す。 細粒度視覚領域にまたがる制御されたベンチマークを用いて,長さバイアス,より長い回答オプションの体系的選好について検討する。 LVLMは、視覚的に不整合であっても常に長い選択肢を好んでおり、正解が短くなると2～38%の精度が低下し、1～70%が長くなる。 我々は,複数の推論時緩和戦略を提案し,評価する。これらは部分的な改善を提供するが,推論時に利用できないオラクル情報に頼ることなく,デプロイ可能なバイアス緩和を実現することはできない。
  論文  参考訳（メタデータ） (2026-10-17T06:46:20Z)
• QuantiBias: Benchmarking Quantization-Induced Bias in LLMs [8.970269049715933]
  幅広い聴衆にリーチするほとんどの大きな言語モデルは定量化されています。 提案するベンチマークでは,複数言語ステレオタイププローブと,オープンエンド生成を分離する拒絶制御と多重選択制御を組み合わせている。 量子化されたビルドは、既にパスしているショートフォームのセーフガードだけでなく、オープンエンドのバイアスのために再評価されなければならない。
  論文  参考訳（メタデータ） (2026-07-23T08:56:11Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Uncertainty Drives Social Bias Changes in Quantized Large Language Models [3.921671869527028]
  学習後の量子化は、大きな言語モデルの計算コストを削減します。 本稿では,PostTrainingBiasBenchで評価された50の量子化モデルの大規模研究について述べる。
  論文  参考訳（メタデータ） (2026-02-05T20:37:26Z)
• Silenced Biases: The Dark Side LLMs Learned to Refuse [5.2630646053506345]
  モデルの潜在空間内にエンコードされた不公平な選好であるサイレントバイアスの概念を導入する。 我々は,アクティベーションステアリングを用いて,これらのバイアスを明らかにすることを目的としたサイレンスドバイアスベンチマーク(SBB)を提案する。
  論文  参考訳（メタデータ） (2025-11-05T11:24:50Z)
• Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization [60.176008034221404]
  直接選好最適化(DPO)とその変種は、言語モデルと人間の選好の整合にますます利用されている。 以前の研究では、トレーニング中に好まれる反応の可能性が減少する傾向が見られた。 確率変位は破滅的になりうることを示し、確率質量を好ましくない反応から反対の意味の反応へとシフトさせる。
  論文  参考訳（メタデータ） (2024-10-11T14:22:44Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。