論文の概要: The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data
- arxiv url: http://arxiv.org/abs/2608.04268v1
- Date: Tue, 04 Aug 2026 22:56:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.657814
- Title: The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data
- Title（参考訳）: 公正崩壊現象:合成データに基づく言語モデルのバイアス増幅
- Abstract要約: 人工的に生成されたデータに基づいて訓練された生成モデルは、モデル崩壊を示すことが示されている。
合成コンテンツがトレーニングコーパスを汚染する傾向が増すにつれて、オープンデータの使用に関する重要な懸念が高まる。
- 参考スコア（独自算出の注目度）: 4.774098410526357
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative models trained on artificially generated data have been shown to exhibit model collapse, resulting in significant performance degradation. As synthetic content increasingly contaminates the training corpora of language models, this raises critical concerns about the use of open data in continued pretraining. Although previous work has demonstrated model collapse in language models, it remains unclear whether exposure to synthetic data amplifies or attenuates the social biases already present in pretrained models. Because language models are known to reproduce and amplify demographic stereotypes, recursive training on self-generated data may create a self-reinforcing feedback loop in which biased associations become progressively stronger across generations. We call this hypothesized phenomenon fairness collapse. In this work, we construct controlled training regimes in which models are repeatedly trained on synthetic data using the Bias in Bios dataset. Across experiments, we observe a consistent and concerning pattern: fairness degradation emerges before substantial degradation is reflected by standard language-modeling metrics. This result highlights a critical risk associated with synthetic data contamination in language model training: bias can increase silently before strong indicators of model collapse become apparent.
- Abstract（参考訳）: 人工的に生成されたデータに基づいてトレーニングされた生成モデルは、モデル崩壊を示すことが示され、性能が著しく低下する。
合成コンテンツは、言語モデルのトレーニングコーパスをますます汚染するので、オープンデータの使用が継続的な事前訓練で重要な懸念を提起する。
これまでの研究は、言語モデルにおけるモデル崩壊を実証しているが、合成データへの曝露が、事前訓練されたモデルにすでに存在する社会的バイアスを増幅または減衰させるかどうかは不明である。
言語モデルは、人口統計学的ステレオタイプを再現し増幅することが知られているため、自己生成データに対する再帰的なトレーニングは、世代間でバイアス付き連想が徐々に強くなる自己強化フィードバックループを生み出す可能性がある。
我々はこの仮定された現象を公平性の崩壊と呼ぶ。
本研究では,Bias in Biosデータセットを用いて,モデルが合成データに対して繰り返し訓練される制御トレーニング体制を構築した。
実験を通して、我々は一貫したパターンを観察する: 相当な劣化が標準言語モデリングメトリクスによって反映される前に、公正な劣化が出現する。
この結果は、言語モデルトレーニングにおける合成データ汚染に関連する重大なリスクを強調している: バイアスは、モデル崩壊の強い指標が明らかになる前に静かに増加する。
関連論文リスト
- When Models Don't Collapse: On the Consistency of Iterative MLE [26.518651842868135]
自然条件下での最大誤差推定(MLE)のためのモデル崩壊について検討した。
実データの一部が消えても崩壊は避けられることを示す非漸近境界を確立する。
MLE整合性以外にもいくつかの仮定(MLE整合性)が本当に必要であることを示す。
論文 参考訳（メタデータ） (2025-05-25T08:50:46Z) - A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。
モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。
一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
論文 参考訳（メタデータ） (2025-02-26T06:18:13Z) - How to Synthesize Text Data without Model Collapse? [37.219627817995054]
合成データのモデル崩壊は、自己生成データに対する反復的なトレーニングが徐々に性能を低下させることを示している。
半合成データを得るために,人為的データに対するトークン編集を提案する。
論文 参考訳（メタデータ） (2024-12-19T09:43:39Z) - Will the Inclusion of Generated Data Amplify Bias Across Generations in Future Image Classification Models? [29.71939692883025]
画像分類タスクにおける生成データの影響について,特にバイアスに着目して検討する。
数百の実験がColorized MNIST、CIFAR-20/100、Hard ImageNetデータセットで実施されている。
本研究は, 実世界の応用において, 合成データの公平性に関する議論が進行中であることを示すものである。
論文 参考訳（メタデータ） (2024-10-14T05:07:06Z) - How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse [9.59833542807268]
モデル崩壊は、以前に訓練されたモデルから生成された合成データに基づいて新しいモデルが訓練されたときに起こる。
合成データのみを用いたトレーニングでは,モデル崩壊は回避できないことを示す。
モデル崩壊を回避できる合成データの最大量を推定する。
論文 参考訳（メタデータ） (2024-04-07T22:15:13Z) - Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。
生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
論文 参考訳（メタデータ） (2024-04-01T18:31:24Z) - Fairness Feedback Loops: Training on Synthetic Data Amplifies Bias [47.79659355705916]
モデル誘導分散シフト(MIDS)は、以前のモデルが代々のモデルに対して汚染された新しいモデルトレーニングセットを出力するときに発生する。
我々は,複数世代にわたるMIDSの追跡を可能にするフレームワークを導入し,性能,公平性,少数化グループ表現の損失につながることを確認した。
これらの否定的な結果にもかかわらず、モデルがデータエコシステムにおけるポジティブで意図的な介入にどのように使用されるかを特定します。
論文 参考訳（メタデータ） (2024-03-12T17:48:08Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文 参考訳（メタデータ） (2023-09-30T16:41:04Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳（メタデータ） (2023-01-31T20:09:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。