論文の概要: Bias Dynamics in BabyLMs: Towards a Compute-Efficient Sandbox for Democratising Pre-Training Debiasing

• arxiv url: http://arxiv.org/abs/2601.09421v2
• Date: Thu, 15 Jan 2026 12:25:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 13:33:41.506586
• Title: Bias Dynamics in BabyLMs: Towards a Compute-Efficient Sandbox for Democratising Pre-Training Debiasing
• Title（参考訳）: ベイビーフィルムにおけるバイアスダイナミクス--学習前偏見を民主化するための計算効率の良いサンドボックスを目指して
• Authors: Filip Trhlik, Andrew Caines, Paula Buttery,
• Abstract要約: 事前訓練された言語モデル(LM)は、ここ数年で、社会的な採用とトレーニングコストの両方で大きく成長した。 我々は、低コストのプロキシモデルを用いて、プレモデルデバイアス研究の民主化を目指す。 具体的には,小小・可変コーパスで学習したコンパクトBERTライクなBabyLMについて検討する。
• 参考スコア（独自算出の注目度）: 3.953108035681589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (LMs) have, over the last few years, grown substantially in both societal adoption and training costs. This rapid growth in size has constrained progress in understanding and mitigating their biases. Since re-training LMs is prohibitively expensive, most debiasing work has focused on post-hoc or masking-based strategies, which often fail to address the underlying causes of bias. In this work, we seek to democratise pre-model debiasing research by using low-cost proxy models. Specifically, we investigate BabyLMs, compact BERT-like models trained on small and mutable corpora that can approximate bias acquisition and learning dynamics of larger models. We show that BabyLMs display closely aligned patterns of intrinsic bias formation and performance development compared to standard BERT models, despite their drastically reduced size. Furthermore, correlations between BabyLMs and BERT hold across multiple intra-model and post-model debiasing methods. Leveraging these similarities, we conduct pre-model debiasing experiments with BabyLMs, replicating prior findings and presenting new insights regarding the influence of gender imbalance and toxicity on bias formation. Our results demonstrate that BabyLMs can serve as an effective sandbox for large-scale LMs, reducing pre-training costs from over 500 GPU-hours to under 30 GPU-hours. This provides a way to democratise pre-model debiasing research and enables faster, more accessible exploration of methods for building fairer LMs.
• Abstract（参考訳）: 事前訓練された言語モデル(LM)は、ここ数年で、社会的な採用とトレーニングコストの両方で大きく成長した。 この急激な成長は、彼らのバイアスを理解し緩和する進歩を妨げている。 LMの再訓練は違法に高価であるため、ほとんどの嫌がらせ作業はポストホックやマスキングベースの戦略に重点を置いている。 本研究では,低コストのプロキシモデルを用いて,プレモデルデバイアス研究の民主化を目指す。 具体的には、小型で可変なコーパスで訓練されたコンパクトBERTライクモデルであるBabyLMについて検討し、大規模モデルのバイアス獲得と学習ダイナミクスを近似することができる。 その結果,BabyLM は,従来の BERT モデルと比較して,内部バイアス形成と性能発達のパターンが密に一致していることが判明した。 さらに、BabyLMとBERTの相関関係は、複数のモデル内およびポストモデルデバイアス法にまたがる。 これらの類似性を生かして,ベイビーフィルムを用いたプレモデル脱バイアス実験を行い,前報を再現し,男女不均衡と毒性がバイアス形成に及ぼす影響について新たな知見を提示する。 以上の結果から,BabyLMは大規模LMに有効なサンドボックスとして機能し,500GPU時間以上の事前トレーニングコストを30GPU時間以下に削減できることが示された。 これにより、プレモデルデバイアス研究の民主化と、より公平なLMを構築する方法のより早く、よりアクセスしやすい探索が可能になる。

関連論文リスト

• Your AI, Not Your View: The Bias of LLMs in Investment Analysis [62.388554963415906]
  金融において、Large Language Models (LLMs) は、事前訓練されたパラメトリック知識とリアルタイム市場データとの相違から生じる、頻繁な知識紛争に直面している。 これらの対立は、モデル固有のバイアスが制度的目的と誤認される現実世界の投資サービスにおいて特に問題となる。 本研究では,このような紛争シナリオにおける創発的行動を調べるための実験的枠組みを提案し,投資分析におけるバイアスの定量的分析を行う。
  論文  参考訳（メタデータ） (2025-07-28T16:09:38Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning [18.064064773660174]
  本稿では、強化学習を用いて様々なバイアスを微調整せずに処理する脱バイアス法REFINE-LMを紹介する。 LMの単語確率分布の上に簡単なモデルをトレーニングすることにより、バイアス強化学習法により、人間のアノテーションを使わずにモデルの偏りを抑えることができる。 複数のLMを含む多種多様なモデルで行った実験により,本手法は,LMの性能を維持しながら,ステレオタイプバイアスを著しく低減することを示した。
  論文  参考訳（メタデータ） (2024-08-18T14:08:31Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• A Trip Towards Fairness: Bias and De-Biasing in Large Language Models [1.987426401990999]
  安価なトレーニングを備えたCtB-LLM(Cheap-to-Build Very Large-Language Model)が、自然言語処理と理解における次の大きな革命として現れている。 本稿では,CtB-LLMの3家系の偏りを大規模に調査した。 脱バイアス技術は有効であり,有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-23T09:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。