論文の概要: Estimating Wage Disparities Using Foundation Models

• arxiv url: http://arxiv.org/abs/2409.09894v1
• Date: Sun, 15 Sep 2024 23:22:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 17:00:44.979848
• Title: Estimating Wage Disparities Using Foundation Models
• Title（参考訳）: 基礎モデルを用いた賃金格差の推定
• Authors: Keyon Vafa, Susan Athey, David M. Blei,
• Abstract要約: 我々は、男女賃金格差を解消するために、全労働史から賃金を予測するために設計された、カスタム構築のファンデーションモデルを使用している。 我々のモデルは単純なモデルよりもキャリア履歴の豊かな表現を捉え、賃金をより正確に予測する。
• 参考スコア（独自算出の注目度）: 20.740346109417143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One thread of empirical work in social science focuses on decomposing group differences in outcomes into unexplained components and components explained by observable factors. In this paper, we study gender wage decompositions, which require estimating the portion of the gender wage gap explained by career histories of workers. Classical methods for decomposing the wage gap employ simple predictive models of wages which condition on a small set of simple summaries of labor history. The problem is that these predictive models cannot take advantage of the full complexity of a worker's history, and the resulting decompositions thus suffer from omitted variable bias (OVB), where covariates that are correlated with both gender and wages are not included in the model. Here we explore an alternative methodology for wage gap decomposition that employs powerful foundation models, such as large language models, as the predictive engine. Foundation models excel at making accurate predictions from complex, high-dimensional inputs. We use a custom-built foundation model, designed to predict wages from full labor histories, to decompose the gender wage gap. We prove that the way such models are usually trained might still lead to OVB, but develop fine-tuning algorithms that empirically mitigate this issue. Our model captures a richer representation of career history than simple models and predicts wages more accurately. In detail, we first provide a novel set of conditions under which an estimator of the wage gap based on a fine-tuned foundation model is $\sqrt{n}$-consistent. Building on the theory, we then propose methods for fine-tuning foundation models that minimize OVB. Using data from the Panel Study of Income Dynamics, we find that history explains more of the gender wage gap than standard econometric models can measure, and we identify elements of history that are important for reducing OVB.
• Abstract（参考訳）: 社会科学における経験的研究の1つのスレッドは、結果の集団差を、観測可能な要因によって説明できない構成要素と構成要素に分解することに焦点を当てている。 本稿では、労働者のキャリア履歴から説明されるジェンダー賃金格差の一部を推定する必要があるジェンダー賃金の分解について検討する。 賃金格差を分解する古典的な方法は、労働史の単純な要約の小さなセットで条件付けられた単純な賃金の予測モデルを用いる。 問題は、これらの予測モデルは、労働者の歴史の完全な複雑さを生かすことができず、結果として生じる分解は、性別と賃金の両方に相関する共変量を含む、省略変数バイアス(OVB)に悩まされることである。 ここでは、予測エンジンとして大規模言語モデルなどの強力な基礎モデルを用いる、賃金格差の分解のための代替手法を検討する。 基礎モデルは複雑な高次元入力から正確な予測を行うのに優れている。 我々は、男女賃金格差を解消するために、全労働史から賃金を予測するために設計された、カスタム構築のファンデーションモデルを使用している。 このようなモデルのトレーニング方法がまだOVBにつながる可能性があることを証明していますが、この問題を実証的に緩和する微調整アルゴリズムを開発しています。 我々のモデルは単純なモデルよりもキャリア履歴の豊かな表現を捉え、賃金をより正確に予測する。 細調整された基礎モデルに基づく賃金格差の推定器が$\sqrt{n}$-consistent(=========================================================================================================================================。 この理論に基づいて,OVBを最小化する微調整基礎モデルを提案する。 パネル・スタディ・オブ・インカム・ダイナミクス(Panel Study of Income Dynamics)のデータから、標準的な計量モデルよりも性別の賃金格差を詳しく説明し、OVBを減らす上で重要な歴史要素を同定する。

関連論文リスト

• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• Being Right for Whose Right Reasons? [11.120861224127303]
  本稿では,アノテータの人口統計情報を付加した人間の合理化アノテーションのコレクションである,その第1種と考えられるものについて述べる。 感情分析と常識推論にまたがる3つのデータセットと6つの人口統計群をカバーしている。 モデルが古いアノテータと/または白いアノテータの整合性に偏っていることが分かりました。
  論文  参考訳（メタデータ） (2023-06-01T13:06:43Z)
• BLIND: Bias Removal With No Demographics [29.16221451643288]
  我々は、データセットの人口統計学の事前知識のないバイアス除去手法であるBLINDを紹介する。 下流タスクでモデルをトレーニングしている間、BLINDは、メインモデルの成功を予測する補助モデルを使用してバイアス付きサンプルを検出し、トレーニングプロセス中にこれらのサンプルをダウンウェイトする。 感情分類と職業分類タスクにおける人種的および性別的偏見による実験は、BLINDがコストのかかる人口統計学的アノテーションプロセスに頼ることなく社会的偏見を緩和することを示した。
  論文  参考訳（メタデータ） (2022-12-20T18:59:42Z)
• Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
  本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。 我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。 以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-05T23:15:43Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。