Fugu-MT 論文翻訳(概要): Selection Bias Induced Spurious Correlations in Large Language Models

論文の概要: Selection Bias Induced Spurious Correlations in Large Language Models

arxiv url: http://arxiv.org/abs/2207.08982v1
Date: Mon, 18 Jul 2022 23:43:52 GMT
ステータス: 処理完了
システム内更新日: 2022-07-20 13:02:03.100827
Title: Selection Bias Induced Spurious Correlations in Large Language Models
Title（参考訳）: 選択バイアスによる大言語モデルにおける純粋相関
Authors: Emily McMilin
Abstract要約: 大規模言語モデル(LLM)が,データセット選択バイアスによる非条件独立変数間の統計的依存関係をいかに学習できるかを示す。我々は、予測された性別代名詞とさまざまな性別中立変数との素早い相関を明らかにするために、BERTファミリーモデルに適用可能なマスク付きジェンダータスクを開発した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work we show how large language models (LLMs) can learn statistical dependencies between otherwise unconditionally independent variables due to dataset selection bias. To demonstrate the effect, we developed a masked gender task that can be applied to BERT-family models to reveal spurious correlations between predicted gender pronouns and a variety of seemingly gender-neutral variables like date and location, on pre-trained (unmodified) BERT and RoBERTa large models. Finally, we provide an online demo, inviting readers to experiment further.
Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)が,データセット選択バイアスによる非条件独立変数間の統計的依存関係をいかに学習できるかを示す。この効果を実証するために,BERT モデルに適用可能なマスク付きジェンダータスクを開発し,予測されたジェンダー代名詞と,日時や場所などの性別中立変数との素早い相関関係を,事前学習された(修正されていない) BERT と RoBERTa の大規模モデル上で明らかにした。最後に、オンラインデモを行い、読者にさらなる実験を依頼します。

関連論文リスト

GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations [1.0000511213628438]
性別制御されたテキストデータセットであるGECOを作成し、それ以外は男性と女性に同じ文が現れる。これにより、ジェンダー分類タスクの「世界説明」が根本から生まれる。また,一般的なXAI手法をベンチマークする厳密な定量的評価フレームワークであるGECOBenchも提供する。
論文参考訳（メタデータ） (2024-06-17T13:44:37Z)
UnMASKed: Quantifying Gender Biases in Masked Language Models through Linguistically Informed Job Market Prompts [0.0]
この研究は、マスキング言語モデル(MLM)に存在する固有のバイアスを掘り下げる。本研究では, BERT, RoBERTa, DistilBERT, BERT-multilingual, XLM-RoBERTa, DistilBERT-multilingualの6つのモデルについて検討した。この分析により、すべてのモデルのステレオタイプ的な性別アライメントが明らかとなり、多言語変異は相対的にバイアスを減少させる。
論文参考訳（メタデータ） (2024-01-28T23:00:40Z)
Current Topological and Machine Learning Applications for Bias Detection in Text [4.799066966918178]
本研究はRedditBiasデータベースを用いてテキストバイアスの分析を行う。 BERTおよびRoBERTaの変種を含む4つの変圧器モデルについて検討した。発見によるとBERT、特にミニBERTはバイアス分類に優れており、多言語モデルは遅延している。
論文参考訳（メタデータ） (2023-11-22T16:12:42Z)
Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文参考訳（メタデータ） (2023-06-03T20:12:27Z)
ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文参考訳（メタデータ） (2023-04-07T23:51:07Z)
The Birth of Bias: A case study on the evolution of gender bias in an English language model [1.6344851071810076]
私たちは、英語のウィキペディアコーパスでトレーニングされたLSTMアーキテクチャを使って、比較的小さな言語モデルを使用します。性別の表現は動的であり、訓練中に異なる位相を識別する。モデルの入力埋め込みにおいて,ジェンダー情報が局所的に表現されることが示される。
論文参考訳（メタデータ） (2022-07-21T00:59:04Z)
Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文参考訳（メタデータ） (2022-05-14T11:47:58Z)
Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
現在の顔認識(FR)モデルには、人口統計バイアスが存在する。さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
論文参考訳（メタデータ） (2021-03-16T15:05:49Z)
The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
論文参考訳（メタデータ） (2020-11-03T16:50:13Z)
Model Selection for Cross-Lingual Transfer [15.197350103781739]
本稿では,モデル選択のための機械学習手法を提案する。大規模な実験では、この手法は205言語にわたる英語の検証データよりも優れたモデルを選択する。
論文参考訳（メタデータ） (2020-10-13T02:36:48Z)
Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。