論文の概要: Debias-SparseGPT: Bias-Aware Pruning for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.02496v1
• Date: Wed, 02 Sep 2026 12:01:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.324451
• Title: Debias-SparseGPT: Bias-Aware Pruning for Large Language Models
• Title（参考訳）: Debias-SparseGPT:大規模言語モデルのためのバイアス対応プルーニング
• Authors: Irina Proskurina, Guillaume Metzler, Antoine Gourru, Julien Velcin,
• Abstract要約: 本稿では,デビアス・スパースGPT(Debias-SparseGPT)について紹介する。 モデルとスパース性(25%、50%、構造化された2:4のスパース性)全体にわたって、Debias-SparseGPTはプルーニングによって引き起こされるバイアスを一貫して減少させる。 全体として、Debias-SparseGPTはスパースモデルの計算効率を保ちながらバイアス性能のトレードオフを進める。
• 参考スコア（独自算出の注目度）: 5.683622858456942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model compression techniques such as pruning and quantization facilitate the efficient deployment and acceleration of Large Language Models (LLMs). However, recent studies show that weight sparsification methods, such as SparseGPT, can amplify existing biases in models, with outputs varying significantly depending on persona cues in the prompt. In this paper, we introduce Debias-SparseGPT, a post-training pruning method incorporating representational debiasing using a second-order term defined over demographically contrasting inputs. We perform empirical validation of our method over a wide range of generative LLMs. Across models and sparsity regimes (25%, 50%, and structured 2:4 sparsity), Debias-SparseGPT consistently reduces pruning-induced bias compared to SparseGPT while preserving model perplexity and zero-shot accuracy. Under the most restrictive 2:4 structured sparsity pattern, which most aggressively degrades model quality, augmenting the calibration set with long-context, content-rich examples further improves both downstream performance and fairness. Overall, Debias-SparseGPT advances the bias-performance trade-off while preserving the computational efficiency of sparse models.
• Abstract（参考訳）: プルーニングや量子化のようなモデル圧縮技術は、Large Language Models (LLM) の効率的な展開と加速を容易にする。 しかし、最近の研究では、SparseGPTのような重量分散法は、モデル内の既存のバイアスを増幅し、プロンプトにおけるペルソナの手がかりによって出力が著しく変化することを示した。 本稿では,人口統計学的に対比した入力について定義した2次項を用いて,表現的デバイアスを組み込んだ学習後プルーニング手法であるDebias-SparseGPTを紹介する。 我々は,多種多様な生成LDMに対して,本手法の実証検証を行う。 Debias-SparseGPTはモデルパープレキシティとゼロショット精度を保ちながら、モデルとスパースレギュレーション(25%、50%、構造化された2:4スペーサリティ)全体にわたって、SparseGPTと比較してプルーニング誘発バイアスを一貫して減少させる。 最も制限された2:4構造化空間パターンの下では、モデル品質を積極的に劣化させ、長いコンテキストでキャリブレーションセットを拡大し、コンテンツリッチな例では、下流のパフォーマンスと公平性の両方がさらに向上する。 全体として、Debias-SparseGPTはスパースモデルの計算効率を保ちながらバイアス性能のトレードオフを前進させる。

関連論文リスト

• SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization [62.958457694151384]
  本研究では,大規模な言語モデルにおける人的フィードバックからの強化学習の成功を動機として,降水量の最適化を初めて導入する。 第一段階では、フレームワークはFARを減らすことに焦点を当て、誤報を効果的に抑えるためにモデルを訓練する。
  論文  参考訳（メタデータ） (2025-10-22T16:11:22Z)
• CAST: Continuous and Differentiable Semi-Structured Sparsity-Aware Training for Large Language Models [27.682531424487564]
  スパシティアウェアトレーニングは、大きな言語モデルをハードウェアフレンドリーなスパースパターンに変換するための効果的なアプローチである。 スパースモデルのための連続的かつ微分可能なスパース対応トレーニングフレームワークであるContinuous Adaptive Sparse Trainer (CAST)を提案する。 以上の結果から,従来の最先端手法に比べて,トレーニングリソースの最小化による難易度とゼロショット精度の両面で有意な改善が見られた。
  論文  参考訳（メタデータ） (2025-09-30T09:28:47Z)
• S$^2$-Guidance: Stochastic Self Guidance for Training-Free Enhancement of Diffusion Models [26.255679321570014]
  S2-Guidanceは、フォワードプロセス中のブロックドロップを利用してサブネットワークを構築する新しい方法である。 テキスト・ツー・イメージおよびテキスト・ツー・ビデオ生成タスクの実験は、S2-Guidanceが優れたパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2025-08-18T12:31:20Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models [55.14405248920852]
  各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。 パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。 また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
  論文  参考訳（メタデータ） (2023-06-06T23:56:18Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• Model-agnostic bias mitigation methods with regressor distribution control for Wasserstein-based fairness metrics [0.6509758931804478]
  より公平な回帰分布を持つ後処理モデルの構築に基づくバイアス緩和手法を提案する。 提案手法は低次元空間において最適化を行い,コストのかかるモデル再訓練を回避する。
  論文  参考訳（メタデータ） (2021-11-19T17:31:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。