論文の概要: A Predictive Factor Analysis of Social Biases and Task-Performance in Pretrained Masked Language Models

• arxiv url: http://arxiv.org/abs/2310.12936v2
• Date: Sun, 22 Oct 2023 14:19:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 11:23:18.163138
• Title: A Predictive Factor Analysis of Social Biases and Task-Performance in Pretrained Masked Language Models
• Title（参考訳）: 事前学習されたマスキング言語モデルにおける社会的バイアスとタスクパフォーマンスの予測因子分析
• Authors: Yi Zhou, Jose Camacho-Collados, Danushka Bollegala
• Abstract要約: 社会的バイアスは、事前訓練された言語マスケッド言語モデル(MLM)によって報告されている。 我々は、異なるモデルサイズ、訓練対象、トークン化方法、データドメインと言語をカバーする39以上の事前訓練研究を行う。 我々の結果は、トークン化やモデル目的など、以前の文献で無視される重要な要素に光を当てた。
• 参考スコア（独自算出の注目度）: 37.60331159498764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Various types of social biases have been reported with pretrained Masked Language Models (MLMs) in prior work. However, multiple underlying factors are associated with an MLM such as its model size, size of the training data, training objectives, the domain from which pretraining data is sampled, tokenization, and languages present in the pretrained corpora, to name a few. It remains unclear as to which of those factors influence social biases that are learned by MLMs. To study the relationship between model factors and the social biases learned by an MLM, as well as the downstream task performance of the model, we conduct a comprehensive study over 39 pretrained MLMs covering different model sizes, training objectives, tokenization methods, training data domains and languages. Our results shed light on important factors often neglected in prior literature, such as tokenization or model objectives.
• Abstract（参考訳）: 様々な社会的バイアスが事前訓練されたマスケッド言語モデル(MLM)によって報告されている。 しかしながら、そのモデルサイズ、トレーニングデータのサイズ、トレーニング対象、事前トレーニングデータのサンプル化されたドメイン、トークン化、プリトレーニングされたコーパスに存在する言語など、複数の下位要素がmlmに関連付けられ、いくつかの名称が与えられる。 MLMが学習した社会的偏見にどのような影響があるのかは、まだ不明である。 モデルファクターとMLMが学習した社会的バイアスとモデル下流タスク性能の関係を検討するため,モデルのサイズ,トレーニング目標,トークン化方法,データドメインのトレーニング,言語を対象とする39の事前学習MLMを総合的に調査した。 我々の結果は、トークン化やモデル目的など、以前の文献で無視される重要な要素に光を当てた。

関連論文リスト

• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
  MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。 しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。 本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• LABOR-LLM: Language-Based Occupational Representations with Large Language Models [8.909328013944567]
  本稿では,CAREER ファンデーションモデルの微調整を微調整 LLM に置き換える方法を検討する。 細調整されたLLMモデル予測は、市販のLLMモデルやCAREERよりも、様々な労働者サブ集団のキャリアトラジェクトリを代表していることを示す。
  論文  参考訳（メタデータ） (2024-06-25T23:07:18Z)
• Language Models Trained to do Arithmetic Predict Human Risky and Intertemporal Choice [4.029252551781513]
  本稿では,認知モデルとしての大規模言語モデルの有用性を高める新しい手法を提案する。 生態学的に有効な算術的データセットに基づいて事前訓練されたLLMは、従来の認知モデルよりも人間の行動を予測する。
  論文  参考訳（メタデータ） (2024-05-29T17:37:14Z)
• Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality [0.0]
  社会政治学者は、しばしばテキストデータ表現(埋め込み)とは異なるバイアスを発見し、測定することを目的としている。 本稿では,マスク付き言語モデルを用いて学習したトランスフォーマーによって符号化された社会的バイアスを評価する。 提案手法により,提案手法により, 変圧器間の偏りのある文の相対的嗜好を, より正確に推定できることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T17:33:13Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。