論文の概要: Bias Amplification: Large Language Models as Increasingly Biased Media

• arxiv url: http://arxiv.org/abs/2410.15234v2
• Date: Mon, 17 Feb 2025 07:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:04:55.354342
• Title: Bias Amplification: Large Language Models as Increasingly Biased Media
• Title（参考訳）: バイアス増幅:大規模言語モデルとメディアのバイアス増加
• Authors: Ze Wang, Zekun Wu, Jeremy Zhang, Xin Guan, Navya Jain, Skylar Lu, Saloni Gupta, Adriano Koshiyama,
• Abstract要約: 大規模言語モデル(LLM)における既存社会バイアスの進行的強化について検討する。 右利きバイアスは徐々に増大している。 機械学的解釈は、モデル崩壊とバイアス増幅の原因となるニューロンの異なる集合を識別し、それらが異なる基盤機構から生じることを示唆している。
• 参考スコア（独自算出の注目度）: 12.376194654498383
• License:
• Abstract: Model collapse, a phenomenon where models degrade in performance due to indiscriminate use of synthetic data is well studied. However, its role in bias amplification, the progressive reinforcement of preexisting social biases in Large Language Models (LLMs) remains underexplored. In this paper, we formally define the conditions for bias amplification and demonstrate through statistical simulations that bias can intensify even in the absence of sampling errors, the primary driver of model collapse. Empirically, we investigate political bias amplification in GPT2 using a custom built benchmark for sentence continuation tasks. Our findings reveal a progressively increasing right-leaning bias. Furthermore, we evaluate three mitigation strategies, Overfitting, Preservation, and Accumulation, and show that bias amplification persists even when model collapse is mitigated. Finally, a mechanistic interpretation identifies distinct sets of neurons responsible for model collapse and bias amplification, suggesting they arise from different underlying mechanisms.
• Abstract（参考訳）: モデル崩壊は,合成データの無差別使用によりモデルの性能が劣化する現象である。 しかし、そのバイアス増幅における役割は、Large Language Models (LLMs) における既存の社会的バイアスの進歩的な強化である。 本稿では, バイアス増幅条件を正式に定義し, モデル崩壊の主要因であるサンプリング誤差がなくても, バイアスを強調できることを示す。 本稿では,GPT2における政治的偏見の増幅を,文継続作業のためのカスタムなベンチマークを用いて実験的に検討する。 右利きバイアスは徐々に増大している。 さらに, 3つの緩和戦略, オーバーフィッティング, 保存, 蓄積を評価し, モデル崩壊を緩和してもバイアス増幅が持続することを示した。 最後に、機械学的な解釈は、モデル崩壊とバイアス増幅に責任を負うニューロンの異なる集合を識別し、それらが異なる基盤機構から生じることを示唆する。

関連論文リスト

• An Effective Theory of Bias Amplification [18.648588509429167]
  機械学習モデルは、データに存在するバイアスをキャプチャして増幅し、社会的グループ間で異なるテストパフォーマンスをもたらす。 本稿では、従来のニューラルネットワークを単純化した状態下でモデル化するリッジ回帰の文脈において、正確な解析理論を提案する。 我々の理論は、機械学習バイアスの統一的で厳密な説明を提供し、バイアス増幅やマイノリティグループバイアスのような現象に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-07T08:43:22Z)
• Bias Begets Bias: The Impact of Biased Embeddings on Diffusion Models [0.0]
  テキスト・トゥ・イメージ(TTI)システムは、社会的偏見に対する精査が増加している。 組込み空間をTTIモデルのバイアス源として検討する。 CLIPのような偏りのあるマルチモーダル埋め込みは、表現バランスの取れたTTIモデルに対して低いアライメントスコアをもたらす。
  論文  参考訳（メタデータ） (2024-09-15T01:09:55Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction [87.04153383938969]
  本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。 第1の視点は、文脈記述に基づいて真に抽出することである。 第2の視点は、適切な不確実性評価を提供することである。
  論文  参考訳（メタデータ） (2022-10-10T19:53:13Z)
• A Systematic Study of Bias Amplification [16.245943270343343]
  近年の研究では、機械学習モデルによる予測は、トレーニングデータに存在するバイアスを増幅することができることが示唆されている。 我々は、バイアス増幅の発生時期と発生状況について、初めて体系的に制御された研究を行う。
  論文  参考訳（メタデータ） (2022-01-27T18:04:24Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning Debiased Models with Dynamic Gradient Alignment and Bias-conflicting Sample Mining [39.00256193731365]
  ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。 難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2021-11-25T14:50:10Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)
• Mitigating Gender Bias Amplification in Distribution by Posterior Regularization [75.3529537096899]
  本稿では,男女差の増幅問題について,分布の観点から検討する。 後続正則化に基づくバイアス緩和手法を提案する。 私たちの研究はバイアス増幅の理解に光を当てている。
  論文  参考訳（メタデータ） (2020-05-13T11:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。