論文の概要: Stepmothers are mean and academics are pretentious: What do pretrained language models learn about you?

• arxiv url: http://arxiv.org/abs/2109.10052v1
• Date: Tue, 21 Sep 2021 09:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 14:24:14.493151
• Title: Stepmothers are mean and academics are pretentious: What do pretrained language models learn about you?
• Title（参考訳）: 事前学習された言語モデルは、あなたについて何を学びますか?
• Authors: Rochelle Choenni, Ekaterina Shutova, Robert van Rooij
• Abstract要約: 本稿では,社会集団のステレオタイプ属性を構成する最初のデータセットについて述べる。 本研究では,事前学習された言語モデルによって符号化されたステレオタイプを教師なしで抽出する手法を提案する。
• 参考スコア（独自算出の注目度）: 11.107926166222452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate what types of stereotypical information are captured by pretrained language models. We present the first dataset comprising stereotypical attributes of a range of social groups and propose a method to elicit stereotypes encoded by pretrained language models in an unsupervised fashion. Moreover, we link the emergent stereotypes to their manifestation as basic emotions as a means to study their emotional effects in a more generalized manner. To demonstrate how our methods can be used to analyze emotion and stereotype shifts due to linguistic experience, we use fine-tuning on news sources as a case study. Our experiments expose how attitudes towards different social groups vary across models and how quickly emotions and stereotypes can shift at the fine-tuning stage.
• Abstract（参考訳）: 本稿では,事前学習された言語モデルを用いて,どのようなステレオタイプ情報を取り込むかを検討する。 本稿では,社会集団のステレオタイプ属性を含む最初のデータセットを提案し,教師なしの方法で事前学習された言語モデルによって符号化されたステレオタイプを導出する手法を提案する。 さらに, 出現するステレオタイプを, より一般化した方法で感情効果を研究する手段として, 基本的な感情として表現することと関連づける。 言語経験による感情やステレオタイプの変化を解析するために,我々の手法をどのように利用できるかを示すために,我々は事例研究としてニュースソースの微調整を用いる。 我々の実験は、異なる社会集団に対する態度がモデルによってどのように異なるか、そして、微調整の段階で感情やステレオタイプがいかに素早く変化するかを明らかにする。

関連論文リスト

• Quantifying Stereotypes in Language [6.697298321551588]
  データセットをアノテートすることで,言語におけるステレオタイプを定量化する。 我々は、プレトレーニング言語モデル(PLM)を用いて、このデータセットを学習し、文のステレオタイプを予測する。 我々は、ヘイトスピーチ、性差別、感情、不利で有利なグループなど、一般的な社会問題に関するステレオタイプについて議論する。
  論文  参考訳（メタデータ） (2024-01-28T01:07:21Z)
• Pre-trained Speech Processing Models Contain Human-Like Biases that Propagate to Speech Emotion Recognition [4.4212441764241]
  本研究では,多くの音声タスクに使用される1種類のモデルのバイアスを検出する手法であるSpeech Embedding Association Test(SpEAT)を提案する。 SpEATを用いて、16の英語音声モデルにおいて6種類のバイアスをテストした。 私たちの研究は、テキストや画像ベースのモデルのように、事前訓練された音声ベースのモデルは、しばしば人間のようなバイアスを学習する、という証拠を提供します。
  論文  参考訳（メタデータ） (2023-10-29T02:27:56Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Counteracts: Testing Stereotypical Representation in Pre-trained Language Models [4.211128681972148]
  我々は,事前学習言語モデル(PLM)の内部ステレオタイプ知識を調べるために,反例を用いている。 我々は,9種類のクローゼスタイルのプロンプトに対して,異なる情報と基本知識で7つのPLMを評価する。
  論文  参考訳（メタデータ） (2023-01-11T07:52:59Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Easily Accessible Text-to-Image Generation Amplifies Demographic Stereotypes at Large Scale [61.555788332182395]
  危険で複雑なステレオタイプを増幅する機械学習モデルの可能性を検討する。 さまざまな通常のプロンプトがステレオタイプを生成しており、それらは単に特性、記述子、職業、オブジェクトに言及するプロンプトを含む。
  論文  参考訳（メタデータ） (2022-11-07T18:31:07Z)
• Speech Synthesis with Mixed Emotions [77.05097999561298]
  異なる感情の音声サンプル間の相対的な差を測定する新しい定式化を提案する。 次に、私たちの定式化を、シーケンスからシーケンスまでの感情的なテキストから音声へのフレームワークに組み込む。 実行時に、感情属性ベクトルを手動で定義し、所望の感情混合を生成するためにモデルを制御する。
  論文  参考訳（メタデータ） (2022-08-11T15:45:58Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Understanding and Countering Stereotypes: A Computational Approach to the Stereotype Content Model [4.916009028580767]
  ステレオタイプコンテンツモデル(SCM)を用いてテキスト中のステレオタイプを解釈する計算手法を提案する。 SCMは、ステレオタイプは温かさと能力の2つの主要な次元に沿って理解することができると提案している。 反ステレオタイプ的な例によるステレオタイプに対抗することは、偏見的思考を減らす最も効果的な方法の1つであることが知られている。
  論文  参考訳（メタデータ） (2021-06-04T16:53:37Z)
• CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models [30.582132471411263]
  Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。 CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。 その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
  論文  参考訳（メタデータ） (2020-09-30T22:38:40Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。