論文の概要: Bias at a Second Glance: A Deep Dive into Bias for German Educational Peer-Review Data Modeling

• arxiv url: http://arxiv.org/abs/2209.10335v2
• Date: Thu, 22 Sep 2022 13:08:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 12:23:34.432516
• Title: Bias at a Second Glance: A Deep Dive into Bias for German Educational Peer-Review Data Modeling
• Title（参考訳）: Bias at a Second Glance: A Deep Dive into Bias for German Educational Peer-Review Data Modeling
• Authors: Thiemo Wambsganss, Vinitra Swamy, Roman Rietsche, Tanja K\"aser
• Abstract要約: 我々は5年間で9,165人のドイツのピアレビューのコーパスで、テキストと複数のアーキテクチャ間のバイアスを分析します。 収集したコーパスは, 共起解析やGloVe埋め込みにおいて多くのバイアスを示さない。 事前訓練されたドイツの言語モデルは、実質的な概念的、人種的、性別的偏見を見出す。
• 参考スコア（独自算出の注目度）: 10.080007569933331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Processing (NLP) has become increasingly utilized to provide adaptivity in educational applications. However, recent research has highlighted a variety of biases in pre-trained language models. While existing studies investigate bias in different domains, they are limited in addressing fine-grained analysis on educational and multilingual corpora. In this work, we analyze bias across text and through multiple architectures on a corpus of 9,165 German peer-reviews collected from university students over five years. Notably, our corpus includes labels such as helpfulness, quality, and critical aspect ratings from the peer-review recipient as well as demographic attributes. We conduct a Word Embedding Association Test (WEAT) analysis on (1) our collected corpus in connection with the clustered labels, (2) the most common pre-trained German language models (T5, BERT, and GPT-2) and GloVe embeddings, and (3) the language models after fine-tuning on our collected data-set. In contrast to our initial expectations, we found that our collected corpus does not reveal many biases in the co-occurrence analysis or in the GloVe embeddings. However, the pre-trained German language models find substantial conceptual, racial, and gender bias and have significant changes in bias across conceptual and racial axes during fine-tuning on the peer-review data. With our research, we aim to contribute to the fourth UN sustainability goal (quality education) with a novel dataset, an understanding of biases in natural language education data, and the potential harms of not counteracting biases in language models for educational tasks.
• Abstract（参考訳）: 自然言語処理(nlp)は、教育応用への適応性を高めるためにますます活用されている。 しかし、最近の研究は、事前訓練された言語モデルにおける様々なバイアスを強調している。 既存の研究では異なる領域のバイアスを調査しているが、教育用コーパスや多言語コーパスのきめ細かな分析には限界がある。 本研究では,5年以上にわたって学生から収集された9,165のドイツ語ピアレビューコーパスを用いて,テキスト間のバイアスと複数のアーキテクチャを解析した。 特に,我々のコーパスには,ピアレビュー受取者からの有益性,品質,重要側面評価などのラベルと,属性が含まれている。 我々は,(1)収集したコーパスをクラスタラベルと関連づけた上で,単語埋め込みアソシエーションテスト(WEAT)解析を行い,(2)最もよく訓練されたドイツ語モデル(T5,BERT,GPT-2)とGloVe埋め込み,(3)収集したデータセットの微調整後の言語モデルについて検討した。 初期の期待とは対照的に,収集したコーパスは共起解析やGloVe埋め込みにおいて多くのバイアスを示さないことがわかった。 しかしながら、事前訓練されたドイツの言語モデルは、概念的、人種的、性別的なバイアスを生じさせ、ピアレビューデータの微調整中に概念的、人種的軸間のバイアスに大きな変化をもたらす。 本研究では,新たなデータセットによる第4次国連持続可能性目標(品質教育)への貢献,自然言語教育データにおけるバイアスの理解,教育課題に対する言語モデルのバイアスを克服しない可能性について検討する。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• How Different Is Stereotypical Bias Across Languages? [1.0467550794914122]
  近年の研究では、事前学習した英語モデルのステレオタイプバイアスを評価する方法が実証されている。 我々は、英語のStereoSetデータセット(Nadeem et al., 2021)を半自動でドイツ語、フランス語、スペイン語、トルコ語に翻訳する。 分析から得られた主な特徴は、mGPT-2は言語間で驚くべき反ステレオタイプ行動を示し、英語(モノリンガル)モデルは最も強いバイアスを示し、データセットに反映されるステレオタイプはトルコのモデルにはほとんど存在しないということである。
  論文  参考訳（メタデータ） (2023-07-14T13:17:11Z)
• Evaluating Biased Attitude Associations of Language Models in an Intersectional Context [2.891314299138311]
  言語モデルは、心理学で文書化された暗黙のバイアスを埋め込んだ大規模コーパスで訓練される。 我々は、年齢、教育、性別、身長、知性、識字性、人種、宗教、性、性的指向、社会階級、体重に関するバイアスを研究する。 言語モデルは、性同一性、社会的階級、性的指向のシグナルに対して最も偏りのある態度を示す。
  論文  参考訳（メタデータ） (2023-07-07T03:01:56Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)
• An Analysis of Social Biases Present in BERT Variants Across Multiple Languages [0.0]
  多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。 文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。 偏見探索の現在の手法は言語に依存していると結論付けている。
  論文  参考訳（メタデータ） (2022-11-25T23:38:08Z)
• Challenges in Measuring Bias via Open-Ended Language Generation [1.5552869983952944]
  我々は、プロンプトセット、メトリクス、自動ツール、サンプリング戦略の特定の選択がバイアス結果にどのように影響するかを分析する。 オープンな言語生成におけるバイアスを報告するためのレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2022-05-23T19:57:15Z)
• Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias [2.6304695993930594]
  本稿では,大規模な事前学習言語モデルにおけるバイアスの理解,それらの発生ステージの分析,およびこれらのバイアスを定量化し緩和する様々な方法を提案する。 ビジネス,医療,教育などの実世界のシステムにおいて,テキストによる情緒的コンピューティングに基づく下流作業の幅広い適用性を考慮すると,感情(感情)の文脈における偏見(感情)、すなわち感情的バイアス(Affective Bias)の探究に特に重点を置いている。 本稿では,将来の研究を支援する各種バイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。
  論文  参考訳（メタデータ） (2022-04-21T18:51:19Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。