論文の概要: Breaking Down Bias: On The Limits of Generalizable Pruning Strategies

• arxiv url: http://arxiv.org/abs/2502.07771v1
• Date: Tue, 11 Feb 2025 18:55:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:58.167624
• Title: Breaking Down Bias: On The Limits of Generalizable Pruning Strategies
• Title（参考訳）: バイオマスの崩壊:一般生産戦略の限界について
• Authors: Sibo Ma, Alejandro Salinas, Peter Henderson, Julian Nyarko,
• Abstract要約: 我々は、LLMが人種的偏見をどのように概念化するかを調べるためにモデルプルーニングを採用している。 プルーニングは, 異常なモデル挙動を著しく増大させることなく, バイアスを低減する効果的な方法であることがわかった。 我々の発見は、AIを取り巻く法的枠組みに重要な意味を持つ。
• 参考スコア（独自算出の注目度）: 45.33080098513951
• License:
• Abstract: We employ model pruning to examine how LLMs conceptualize racial biases, and whether a generalizable mitigation strategy for such biases appears feasible. Our analysis yields several novel insights. We find that pruning can be an effective method to reduce bias without significantly increasing anomalous model behavior. Neuron-based pruning strategies generally yield better results than approaches pruning entire attention heads. However, our results also show that the effectiveness of either approach quickly deteriorates as pruning strategies become more generalized. For instance, a model that is trained on removing racial biases in the context of financial decision-making poorly generalizes to biases in commercial transactions. Overall, our analysis suggests that racial biases are only partially represented as a general concept within language models. The other part of these biases is highly context-specific, suggesting that generalizable mitigation strategies may be of limited effectiveness. Our findings have important implications for legal frameworks surrounding AI. In particular, they suggest that an effective mitigation strategy should include the allocation of legal responsibility on those that deploy models in a specific use case.
• Abstract（参考訳）: 我々は、LLMが人種的偏見をどのように概念化するか、そしてそのような偏見に対する一般化可能な緩和戦略が実現可能であるかを検討するために、モデルプルーニングを採用する。 我々の分析はいくつかの新しい洞察をもたらす。 プルーニングは, 異常なモデル挙動を著しく増大させることなく, バイアスを低減する効果的な方法であることがわかった。 ニューロンをベースとしたプルーニング戦略は、一般的に、注意頭全体をプルーニングするアプローチよりも良い結果をもたらす。 しかし, 刈り取り戦略が一般化するにつれて, いずれの手法の有効性も急速に低下することが明らかとなった。 例えば、金融決定の文脈で人種的偏見を取り除くよう訓練されたモデルは、商業取引における偏見を十分に一般化する。 全体としては、人種的偏見は言語モデルにおける一般的な概念としてのみ表現されていることを示唆している。 これらのバイアスの他の部分は文脈に特有であり、一般化可能な緩和戦略は限られた有効性を持つ可能性があることを示唆している。 我々の発見は、AIを取り巻く法的枠組みに重要な意味を持つ。 特に彼らは、効果的な緩和戦略として、特定のユースケースにモデルをデプロイする人々に対する法的責任の割り当てを含めるべきである、と提案している。

関連論文リスト

• Towards Resource Efficient and Interpretable Bias Mitigation in Large Language Models [1.787433808079955]
  大規模言語モデル (LLM) は、学習データにおいて望ましくないバイアスを持続させる。 本稿では,小さなバイアスとアンチバイアスのエキスパートモデルを利用してバイアスを緩和し,デバイアス信号を得る。 性別、人種、宗教の偏見を緩和する実験は、いくつかの地域および世界的な偏見指標に偏見を減少させる。
  論文  参考訳（メタデータ） (2024-12-02T16:56:08Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Generalized Strategic Classification and the Case of Aligned Incentives [16.607142366834015]
  戦略的なユーザー行動の理由について、より広い視点で議論する。 我々のモデルは現在のモデルの多くを仮定するが、他の新しい設定を含んでいる。 結果とアプローチが,最も一般的なケースにどのように拡張できるかを示す。
  論文  参考訳（メタデータ） (2022-02-09T09:36:09Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Beyond Individualized Recourse: Interpretable and Interactive Summaries of Actionable Recourses [14.626432428431594]
  本稿では,Actionable Recourse Agnostic (AReS) と呼ばれる新しいモデルフレームワークを提案する。 説明文の正当性と解釈可能性の両面を同時に最適化する新たな目的を定式化する。 当社のフレームワークは,ブラックボックスモデルに対応するリコースの包括的概要を意思決定者に提供する。
  論文  参考訳（メタデータ） (2020-09-15T15:14:08Z)
• Interventions for Ranking in the Presence of Implicit Bias [34.23230188778088]
  帰属バイアス(英語: Implicit bias)とは、特定の社会的グループのメンバーに対する特定の性質(またはその欠如)の無意識の帰属である。 ルーニールール(英: Rooney Rule)は、サブセット選択問題の特定のケースにおける結果の有用性を改善するための制約である。 我々は、単純で解釈可能な制約の族を示し、それらが暗黙のバイアスを最適に軽減できることを示す。
  論文  参考訳（メタデータ） (2020-01-23T19:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。