論文の概要: Estimating Wage Disparities Using Foundation Models

• arxiv url: http://arxiv.org/abs/2409.09894v2
• Date: Tue, 29 Apr 2025 22:44:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-10 02:36:54.803181
• Title: Estimating Wage Disparities Using Foundation Models
• Title（参考訳）: 基礎モデルを用いた賃金格差の推定
• Authors: Keyon Vafa, Susan Athey, David M. Blei,
• Abstract要約: 我々は,推定問題を実行するための基礎モデルを微調整する手法を開発した。 我々の考えを実証するために、ジェンダー賃金の分解について研究する。 我々は、男女賃金格差を解消するために、カスタム構築のファンデーションモデルを使用します。
• 参考スコア（独自算出の注目度）: 20.740346109417143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of foundation models marks a paradigm shift in machine learning: instead of training specialized models from scratch, foundation models are first trained on massive datasets before being adapted or fine-tuned to make predictions on smaller datasets. Initially developed for text, foundation models have also excelled at making predictions about social science data. However, while many estimation problems in the social sciences use prediction as an intermediate step, they ultimately require different criteria for success. In this paper, we develop methods for fine-tuning foundation models to perform these estimation problems. We first characterize an omitted variable bias that can arise when a foundation model is only fine-tuned to maximize predictive accuracy. We then provide a novel set of conditions for fine-tuning under which estimates derived from a foundation model are root-n-consistent. Based on this theory, we develop new fine-tuning algorithms that empirically mitigate this omitted variable bias. To demonstrate our ideas, we study gender wage decomposition. This is a statistical estimation problem from econometrics where the goal is to decompose the gender wage gap into components that can and cannot be explained by career histories of workers. Classical methods for decomposing the wage gap employ simple predictive models of wages which condition on coarse summaries of career history that may omit factors that are important for explaining the gap. Instead, we use a custom-built foundation model to decompose the gender wage gap, which captures a richer representation of career history. Using data from the Panel Study of Income Dynamics, we find that career history explains more of the gender wage gap than standard econometric models can measure, and we identify elements of career history that are omitted by standard models but are important for explaining the wage gap.
• Abstract（参考訳）: ファンデーションモデルは、スクラッチから専門的なモデルをトレーニングするのではなく、最初に大規模なデータセットでトレーニングされた後、小さなデータセットで予測を行うように適応または微調整される。 当初テキスト用に開発されたファウンデーションモデルは、社会科学データの予測にも長けている。 しかし、社会科学における多くの推定問題は、予測を中間段階として利用するが、最終的には成功のために異なる基準を必要とする。 本稿では,これらの推定問題を実行するための基礎モデルを微調整する手法を開発する。 まず,予測精度を最大化するために基礎モデルのみを微調整した場合に生じる省略変数バイアスを特徴付ける。 次に、基礎モデルから導出される推定値がルート-n-一貫性を持つファインチューニングのための新しい条件セットを提供する。 この理論に基づいて、この省略変数バイアスを実証的に緩和する新しい微調整アルゴリズムを開発した。 我々の考えを実証するために、ジェンダー賃金の分解について研究する。 これは、男女賃金格差を労働者のキャリアヒストリーによって説明でき、説明できないコンポーネントに分解することを目的とする、計量経済学からの統計的推定問題である。 古典的な賃金格差の分解方法は、そのギャップを説明する上で重要な要因を省略する可能性のあるキャリア・ヒストリーの粗い要約を条件とした単純な賃金の予測モデルを用いる。 代わりに、私たちは、男女賃金格差を分解するために、カスタム構築のファンデーションモデルを使用し、キャリア履歴のより豊かな表現を捉えます。 パネル・スタディ・オブ・インカム・ダイナミクス(Panel Study of Income Dynamics)のデータから、標準的な計量モデルよりも性別の賃金格差が説明できることが分かり、標準モデルによって省略されるが、賃金格差を説明する上で重要なキャリア履歴の要素を特定する。

関連論文リスト

• Does Data-Efficient Generalization Exacerbate Bias in Foundation Models? [2.298227866545911]
  ファンデーションモデルは、様々なドメインでラベル効率を持つ堅牢なモデルとして登場した。 事前学習中に機密属性の存在に偏った大量のラベル付きデータを使用することが、モデルの公平性に影響を与えるかどうかは不明である。 本研究は,ブラジルの多ラベル眼科学データセットを微調整する際のファンデーションモデルのバイアスについて検討する。
  論文  参考訳（メタデータ） (2024-08-28T22:14:44Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• Being Right for Whose Right Reasons? [11.120861224127303]
  本稿では,アノテータの人口統計情報を付加した人間の合理化アノテーションのコレクションである,その第1種と考えられるものについて述べる。 感情分析と常識推論にまたがる3つのデータセットと6つの人口統計群をカバーしている。 モデルが古いアノテータと/または白いアノテータの整合性に偏っていることが分かりました。
  論文  参考訳（メタデータ） (2023-06-01T13:06:43Z)
• Variation of Gender Biases in Visual Recognition Models Before and After Finetuning [29.55318393877906]
  本稿では,下流タスクにおける大規模視覚認識モデルの微調整前後のバイアスの変化を計測するフレームワークを提案する。 ImageNet-21kのようなデータセットでトレーニングされた教師付きモデルは、事前学習されたバイアスを保持する傾向にある。 また、大規模データセットに微調整されたモデルでは、新しいバイアス付きアソシエーションを導入する可能性が高くなることもわかりました。
  論文  参考訳（メタデータ） (2023-03-14T03:42:47Z)
• BLIND: Bias Removal With No Demographics [29.16221451643288]
  我々は、データセットの人口統計学の事前知識のないバイアス除去手法であるBLINDを紹介する。 下流タスクでモデルをトレーニングしている間、BLINDは、メインモデルの成功を予測する補助モデルを使用してバイアス付きサンプルを検出し、トレーニングプロセス中にこれらのサンプルをダウンウェイトする。 感情分類と職業分類タスクにおける人種的および性別的偏見による実験は、BLINDがコストのかかる人口統計学的アノテーションプロセスに頼ることなく社会的偏見を緩和することを示した。
  論文  参考訳（メタデータ） (2022-12-20T18:59:42Z)
• Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
  本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。 我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。 以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
  論文  参考訳（メタデータ） (2022-12-05T23:15:43Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
  私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。 性別の表現は動的であり、訓練中に異なる位相を識別する。 モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
  論文  参考訳（メタデータ） (2022-07-21T00:59:04Z)
• Prisoners of Their Own Devices: How Models Induce Data Bias in Performative Prediction [4.874780144224057]
  偏見のあるモデルは、社会の特定のグループに不均等に害を与える決定を下すことができる。 多くの作業は静的ML環境での不公平さを測定することに費やされているが、動的でパフォーマンスのよい予測は行っていない。 本稿では,データのバイアスを特徴付ける分類法を提案する。
  論文  参考訳（メタデータ） (2022-06-27T10:56:04Z)
• CAREER: A Foundation Model for Labor Sequence Data [21.38386300423882]
  ジョブシーケンスの基礎モデルであるCAREERを開発した。 CAREERは最初、大規模で受動的に収集された履歴データに適合し、その後、経済的な推測のためにより小さく、より精度の良いデータセットに微調整される。 我々はCAREERがジョブシーケンスの正確な予測をし、広く使われている3つの経済データセットのエコノメトリベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-02-16T23:23:50Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)
• On the Opportunities and Risks of Foundation Models [256.61956234436553]
  これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
  論文  参考訳（メタデータ） (2021-08-16T17:50:08Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。