論文の概要: Bias Amplification: Language Models as Increasingly Biased Media

• arxiv url: http://arxiv.org/abs/2410.15234v1
• Date: Sat, 19 Oct 2024 22:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:12:49.207660
• Title: Bias Amplification: Language Models as Increasingly Biased Media
• Title（参考訳）: バイアス増幅: バイアスメディアとしての言語モデル
• Authors: Ze Wang, Zekun Wu, Jeremy Zhang, Navya Jain, Xin Guan, Adriano Koshiyama,
• Abstract要約: 本稿では,バイアス増幅に必要な十分条件を定義する理論的枠組みを提案する。 我々は GPT-2 を用いて実験を行い, バイアス増幅を実証した。 保存と蓄積の両方がバイアス増幅とモデル崩壊を効果的に緩和することがわかった。
• 参考スコア（独自算出の注目度）: 13.556583047930065
• License:
• Abstract: As Large Language Models (LLMs) become increasingly integrated into various facets of society, a significant portion of online text consequently become synthetic. This raises concerns about bias amplification, a phenomenon where models trained on synthetic data amplify the pre-existing biases over successive training iterations. Previous literature seldom discusses bias amplification as an independent issue from model collapse. In this work, we address the gap in understanding the bias amplification of LLMs with four main contributions. Firstly, we propose a theoretical framework, defining the necessary and sufficient conditions for its occurrence, and emphasizing that it occurs independently of model collapse. Using statistical simulations with weighted maximum likelihood estimation, we demonstrate the framework and show how bias amplification arises without the sampling and functional form issues that typically drive model collapse. Secondly, we conduct experiments with GPT-2 to empirically demonstrate bias amplification, specifically examining open-ended generational political bias with a benchmark we developed. We observe that GPT-2 exhibits a right-leaning bias in sentence continuation tasks and that the bias progressively increases with iterative fine-tuning on synthetic data generated by previous iterations. Thirdly, we explore three potential mitigation strategies: Overfitting, Preservation, and Accumulation. We find that both Preservation and Accumulation effectively mitigate bias amplification and model collapse. Finally, using novel mechanistic interpretation techniques, we demonstrate that in the GPT-2 experiments, bias amplification and model collapse are driven by distinct sets of neurons, which aligns with our theoretical framework.
• Abstract（参考訳）: 大規模言語モデル(LLM)が社会の様々な側面に統合されるにつれて、オンラインテキストのかなりの部分が合成されるようになる。 これは、合成データに基づいてトレーニングされたモデルが、連続したトレーニングイテレーションよりも既存のバイアスを増幅する現象であるバイアス増幅に関する懸念を提起する。 それまでの文献では、モデル崩壊から独立した問題としてバイアス増幅を論じることはめったにない。 本研究では,LLMのバイアス増幅の理解のギャップを4つの主な貢献で解決する。 まず,その発生に必要かつ十分な条件を定義し,モデル崩壊とは独立して発生することを強調する理論的枠組みを提案する。 重み付けされた最大推定値を用いた統計シミュレーションを用いて、モデル崩壊を引き起こすサンプリングや機能形態の問題なしに、偏差増幅がどのように生じるかを示す。 第2に、GPT-2を用いて、実験的にバイアス増幅実験を行い、特に、我々の開発したベンチマークを用いて、オープンエンド世代政治バイアスについて検討する。 我々は, GPT-2が文継続タスクにおいて右傾きバイアスを示し, 前回の反復によって生成された合成データに対して反復的な微調整を行うことで, バイアスが徐々に増加することを観察した。 第3に、オーバーフィッティング、保存、蓄積の3つの潜在的な緩和戦略について検討する。 保存と蓄積の両方がバイアス増幅とモデル崩壊を効果的に緩和することがわかった。 最後に、新しい機械的解釈手法を用いて、GPT-2実験において、バイアス増幅とモデル崩壊は、我々の理論的な枠組みに沿って異なるニューロン群によって駆動されることを示した。

関連論文リスト

• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• An Effective Theory of Bias Amplification [18.648588509429167]
  機械学習モデルは、データに存在するバイアスをキャプチャして増幅し、社会的グループ間で異なるテストパフォーマンスをもたらす。 本稿では、従来のニューラルネットワークを単純化した状態下でモデル化するリッジ回帰の文脈において、正確な解析理論を提案する。 我々の理論は、機械学習バイアスの統一的で厳密な説明を提供し、バイアス増幅やマイノリティグループバイアスのような現象に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-07T08:43:22Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Model Collapse Demystified: The Case of Regression [12.115359951879462]
  大規模言語や画像生成モデルの普及期における「モデル崩壊」現象について検討する。 我々は、この現象を幅広い状況で定量的に概説する分析式を得る。 モデル崩壊を緩和する適応正則化に基づく簡単な戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-12T15:26:01Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• A Systematic Study of Bias Amplification [16.245943270343343]
  近年の研究では、機械学習モデルによる予測は、トレーニングデータに存在するバイアスを増幅することができることが示唆されている。 我々は、バイアス増幅の発生時期と発生状況について、初めて体系的に制御された研究を行う。
  論文  参考訳（メタデータ） (2022-01-27T18:04:24Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Mitigating Gender Bias Amplification in Distribution by Posterior Regularization [75.3529537096899]
  本稿では,男女差の増幅問題について,分布の観点から検討する。 後続正則化に基づくバイアス緩和手法を提案する。 私たちの研究はバイアス増幅の理解に光を当てている。
  論文  参考訳（メタデータ） (2020-05-13T11:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。