論文の概要: From n-gram to Attention: How Model Architectures Learn and Propagate Bias in Language Modeling

• arxiv url: http://arxiv.org/abs/2505.12381v1
• Date: Sun, 18 May 2025 11:55:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.202738
• Title: From n-gram to Attention: How Model Architectures Learn and Propagate Bias in Language Modeling
• Title（参考訳）: n-gramから注意: モデルアーキテクチャが言語モデリングにおけるバイアスを学習し、伝播する方法
• Authors: Mohsinul Kabir, Tasfia Tahsin, Sophia Ananiadou,
• Abstract要約: 本研究では,データ,モデル設計の選択,時間的ダイナミクスが言語モデリングにおけるバイアス伝搬に与える影響について検討する。 症状だけでなく、データとモデルの両方の次元に偏りをトレースすることで、害を和らげる。
• 参考スコア（独自算出の注目度）: 17.673012459377375
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current research on bias in language models (LMs) predominantly focuses on data quality, with significantly less attention paid to model architecture and temporal influences of data. Even more critically, few studies systematically investigate the origins of bias. We propose a methodology grounded in comparative behavioral theory to interpret the complex interaction between training data and model architecture in bias propagation during language modeling. Building on recent work that relates transformers to n-gram LMs, we evaluate how data, model design choices, and temporal dynamics affect bias propagation. Our findings reveal that: (1) n-gram LMs are highly sensitive to context window size in bias propagation, while transformers demonstrate architectural robustness; (2) the temporal provenance of training data significantly affects bias; and (3) different model architectures respond differentially to controlled bias injection, with certain biases (e.g. sexual orientation) being disproportionately amplified. As language models become ubiquitous, our findings highlight the need for a holistic approach -- tracing bias to its origins across both data and model dimensions, not just symptoms, to mitigate harm.
• Abstract（参考訳）: 言語モデル(LM)のバイアスに関する現在の研究は、主にデータ品質に焦点を合わせており、モデルアーキテクチャやデータの時間的影響にはあまり注意を払わない。 さらに重要なことに、バイアスの起源を体系的に研究する研究はほとんどない。 本稿では,言語モデルにおけるバイアス伝搬における学習データとモデルアーキテクチャの複雑な相互作用を,比較行動理論に基づいて解釈する手法を提案する。 変換器をn-gram LMに関連付ける最近の研究に基づいて、データ、モデル設計の選択、時間的ダイナミクスがバイアスの伝播にどのように影響するかを評価する。 以上の結果から,(1)n-gram LMはバイアス伝播におけるコンテキストウィンドウサイズに非常に敏感であり,(2) トランスフォーマーはアーキテクチャの堅牢性を示す。(2) トレーニングデータの時間的証明はバイアスに大きく影響し,(3) 異なるモデルアーキテクチャは制御バイアス注入に相違し,特定のバイアス(例えば性的指向)が不均等に増幅される。 言語モデルがユビキタス化するにつれて、私たちの発見は全体論的アプローチの必要性を浮き彫りにします。

関連論文リスト

• BiasConnect: Investigating Bias Interactions in Text-to-Image Models [73.76853483463836]
  テキスト・ツー・イメージ・モデルにおけるバイアス相互作用の分析と定量化を目的とした新しいツールであるBiasConnectを紹介する。 我々の手法は、与えられたバイアスが修正されたとき、他のバイアス次元が理想的な分布に向かって、あるいは離れてどのように変化するかを示す経験的推定を提供する。 本稿では,最適なバイアス緩和軸の選択,学習する依存関係の異なるTTIモデルの比較,およびTTIモデルにおける交叉社会的バイアスの増幅を理解するためのBiasConnectの有用性を示す。
  論文  参考訳（メタデータ） (2025-03-12T19:01:41Z)
• Biased Heritage: How Datasets Shape Models in Facial Expression Recognition [13.77824359359967]
  画像に基づく表情認識システムにおいて,データセットから訓練されたモデルへのバイアス伝搬について検討する。 本稿では,複数の階層群を有する複数クラス問題に特化して設計された新しいバイアス指標を提案する。 その結果,FERデータセットの一般的な人口収支よりも,感情特異的な人口動態パターンの防止が優先されるべきであることが示唆された。
  論文  参考訳（メタデータ） (2025-03-05T12:25:22Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Understanding the Interplay of Scale, Data, and Bias in Language Models: A Case Study with BERT [4.807994469764776]
  モデルスケールと事前学習データが学習した社会バイアスに与える影響について検討する。 実験の結果,事前学習したデータは,モデルスケールで上流バイアスがどのように進化するかに大きな影響を及ぼすことがわかった。 データとモデルスケールの複雑な相互作用に光を当て、それが具体的なバイアスにどのように変換されるかを調査しました。
  論文  参考訳（メタデータ） (2024-07-25T23:09:33Z)
• Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training [7.5041863920639456]
  機械学習システムは、データの望ましくない特徴を活用してバイアスを取得し、異なるサブポピュレーションの精度に影響を与えることが多い。 本稿では, ガウス混合モデルを用いて, 教師学生によるデータサブポピュレーションのモデル化におけるバイアスの進化について検討する。 この発見を公平性と堅牢性に適用することで、不均一なデータと突発的な特徴がバイアスを発生し増幅する方法について、いつ、どのように、どのように、どのようにして、そして、どのようにして、そのバイアスを増大させるかを説明します。
  論文  参考訳（メタデータ） (2024-05-28T15:50:10Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Analyzing Bias in Diffusion-based Face Generation Models [75.80072686374564]
  拡散モデルは、合成データ生成と画像編集アプリケーションでますます人気がある。 本研究では, 性別, 人種, 年齢などの属性に関して, 拡散型顔生成モデルにおけるバイアスの存在について検討する。 本研究は,GAN(Generative Adversarial Network)とGAN(Generative Adversarial Network)をベースとした顔生成モデルにおいて,データセットサイズが属性組成および知覚品質に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-05-10T18:22:31Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。