論文の概要: From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models

• arxiv url: http://arxiv.org/abs/2305.08283v1
• Date: Mon, 15 May 2023 00:06:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 16:39:23.246132
• Title: From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models
• Title（参考訳）: 事前データから言語モデル、下流タスクへ:不公平なNLPモデルによる政治的バイアスの軌跡を追跡する
• Authors: Shangbin Feng, Chan Young Park, Yuhan Liu, Yulia Tsvetkov
• Abstract要約: 多様なデータソースで訓練された大規模言語モデル(LM)におけるメディアバイアスを測定する新しい手法を開発した。 我々は、事前学習データにおける政治的(社会的、経済的)バイアスの影響を実証的に定量化することを目的として、ヘイトスピーチと誤情報検出に焦点を当てた。 以上の結果から,事前学習したLMは,事前学習コーパスに存在する偏光を補強する政治的傾きを有することが明らかとなった。
• 参考スコア（独自算出の注目度）: 40.89699305385269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LMs) are pretrained on diverse data sources: news, discussion forums, books, online encyclopedias. A significant portion of this data includes facts and opinions which, on one hand, celebrate democracy and diversity of ideas, and on the other hand are inherently socially biased. Our work develops new methods to (1) measure media biases in LMs trained on such corpora, along the social and economic axes, and (2) measure the fairness of downstream NLP models trained on top of politically biased LMs. We focus on hate speech and misinformation detection, aiming to empirically quantify the effects of political (social, economic) biases in pretraining data on the fairness of high-stakes social-oriented tasks. Our findings reveal that pretrained LMs do have political leanings which reinforce the polarization present in pretraining corpora, propagating social biases into hate speech predictions and media biases into misinformation detectors. We discuss the implications of our findings for NLP research and propose future directions to mitigate the unfairness.
• Abstract（参考訳）: 大規模言語モデル(LM)は、ニュース、ディスカッションフォーラム、書籍、オンライン百科事典といった様々なデータソースで事前訓練されている。 このデータの大部分には、民主主義とアイデアの多様性を祝福する事実と意見が含まれており、一方で本質的に社会的に偏っている。 本研究は,(1)そのようなコーパスで訓練されたLMのメディアバイアスを社会的・経済的軸に沿って測定し,(2)政治的に偏ったLM上で訓練された下流NLPモデルの公平性を測定するための新しい手法を開発する。 我々はヘイトスピーチと誤情報検出に注目し、ハイテイクなソーシャル指向タスクの公平性に関する事前学習データにおける政治的(社会的、経済的)バイアスの効果を実証的に定量化することを目的としている。 以上の結果から,事前学習したLMには,コーパスの偏極性を高める政治的傾きがあり,ヘイトスピーチ予測やメディアバイアスを誤情報検知器に伝播していることが明らかとなった。 我々は,nlp研究の意義を議論し,不公平さを緩和するための今後の方向性を提案する。

関連論文リスト

• High Risk of Political Bias in Black Box Emotion Inference Models [0.0]
  本稿では、社会科学研究における感情分析(SA)に使用される機械学習モデルにおける政治的バイアスの存在について検討する。 ポーランドの感情分析モデルを用いた偏見調査を行った。 以上の結果から, 人間のラテンダーによるアノテーションは, モデルの予測に政治的偏見を伝播させることが示唆された。
  論文  参考訳（メタデータ） (2024-07-18T20:31:07Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• Inducing Political Bias Allows Language Models Anticipate Partisan Reactions to Controversies [5.958974943807783]
  本研究では,Large Language Models (LLMs) を用いたデジタル談話における政治的偏見の理解の課題に対処する。 本稿では,Partisan Bias Divergence AssessmentとPartisan Class Tendency Predictionからなる包括的分析フレームワークを提案する。 以上の結果から,感情的・道徳的ニュアンスを捉えたモデルの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-11-16T08:57:53Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Learning Unbiased News Article Representations: A Knowledge-Infused Approach [0.0]
  本研究では,グローバル・ローカル・コンテクストを用いて,ニュース記事の非バイアス表現を学習する知識注入型ディープラーニングモデルを提案する。 提案手法は,アルゴリズムによる政治的偏見を緩和し,記事の政治的傾きを最大73%の精度で予測する基礎的手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-12T06:20:34Z)
• Quantitative Analysis of Forecasting Models:In the Aspect of Online Political Bias [0.0]
  ソーシャルメディア投稿を5つの異なる政治傾向カテゴリーに分類する手法を提案する。 我々のアプローチは、政治的イデオロギーの異なる2つのソーシャルメディアデータセット上で、既存の時系列予測モデルを活用することである。
  論文  参考訳（メタデータ） (2023-09-11T16:17:24Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing [68.37496795076203]
  非バランスなデータを扱うNLP研究者や実践者に対してガイダンスを提供する。 まず、制御および実世界のクラス不均衡の様々なタイプについて論じる。 サンプリング,データ拡張,損失関数の選択,ステージ学習,モデル設計に基づく手法を整理する。
  論文  参考訳（メタデータ） (2022-10-10T13:26:40Z)
• A Machine Learning Pipeline to Examine Political Bias with Congressional Speeches [0.3062386594262859]
  私たちは、2つのイデオロギー的に多様なソーシャルメディアフォーラム、GabとTwitterで、政治的偏見を研究するための機械学習アプローチを提供します。 提案手法は,米国議会の政治演説から収集したテキストを用いて,そのデータをラベル付けする手法である。 また、カスケードとテキストの特徴を組み合わせて、カスケードの政治的偏見を約85%の精度で予測する機械学習アプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-18T21:15:21Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。