論文の概要: Evaluating Short-Term Temporal Fluctuations of Social Biases in Social Media Data and Masked Language Models

• arxiv url: http://arxiv.org/abs/2406.13556v1
• Date: Wed, 19 Jun 2024 13:45:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 19:33:52.219195
• Title: Evaluating Short-Term Temporal Fluctuations of Social Biases in Social Media Data and Masked Language Models
• Title（参考訳）: ソーシャルメディアデータとマスクド言語モデルにおけるソーシャル・バイアスの短期的変動の評価
• Authors: Yi Zhou, Danushka Bollegala, Jose Camacho-Collados,
• Abstract要約: 社会的偏見はあらゆるバイアスに存在しているが、ほとんどの社会的偏見は時間とともに比較的安定している。 以上の結果から, 男性など一部の集団は, トレーニングコーパス上の女性など, 他者よりも高い嗜好を得ていることが示唆された。
• 参考スコア（独自算出の注目度）: 33.45788663056968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social biases such as gender or racial biases have been reported in language models (LMs), including Masked Language Models (MLMs). Given that MLMs are continuously trained with increasing amounts of additional data collected over time, an important yet unanswered question is how the social biases encoded with MLMs vary over time. In particular, the number of social media users continues to grow at an exponential rate, and it is a valid concern for the MLMs trained specifically on social media data whether their social biases (if any) would also amplify over time. To empirically analyse this problem, we use a series of MLMs pretrained on chronologically ordered temporal snapshots of corpora. Our analysis reveals that, although social biases are present in all MLMs, most types of social bias remain relatively stable over time (with a few exceptions). To further understand the mechanisms that influence social biases in MLMs, we analyse the temporal corpora used to train the MLMs. Our findings show that some demographic groups, such as male, obtain higher preference over the other, such as female on the training corpora constantly.
• Abstract（参考訳）: 性別や人種的偏見などの社会的偏見は、マスケッド言語モデル(MLM)を含む言語モデル(LM)で報告されている。 MLMは、時間とともに収集される追加データの増加で継続的に訓練されているので、重要な疑問は、MLMで符号化された社会的バイアスが時間とともにどのように変化するかである。 特に、ソーシャルメディア利用者数は指数関数的に増加し続けており、ソーシャルメディアデータに特化して訓練されたMLMにとって、その社会的バイアス(もしあれば)が時間の経過とともに増幅されるかどうかという懸念は妥当である。 この問題を経験的に分析するために、コーパスの時系列順序の時間スナップショットに基づいて事前訓練した一連のMLMを用いる。 分析の結果,すべてのMLMには社会的偏見が存在するものの,ほとんどの社会的偏見は時間とともに(例外を除いて)比較的安定していることが明らかとなった。 MLMの社会的バイアスに影響を与えるメカニズムをより深く理解するために,MLMの訓練に使用される時間的コーパスを分析した。 以上の結果から, 男性など一部の集団は, トレーニングコーパス上の女性など, 他者よりも高い嗜好を得ていることが示唆された。

関連論文リスト

• Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
  MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。 しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。 本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
  論文  参考訳（メタデータ） (2024-08-13T02:08:32Z)
• The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
  モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。 一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。 MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
  論文  参考訳（メタデータ） (2024-07-11T15:08:11Z)
• Academically intelligent LLMs are not necessarily socially intelligent [56.452845189961444]
  大規模言語モデル(LLM)の学術的インテリジェンス(英語版)は近年顕著な進歩を遂げているが、その社会的インテリジェンスのパフォーマンスは未だ不明である。 人間の社会知能フレームワークの確立に触発されて,現実の社会的シナリオに基づいた標準化された社会知能テストを開発した。
  論文  参考訳（メタデータ） (2024-03-11T10:35:53Z)
• MM-Soc: Benchmarking Multimodal Large Language Models in Social Media Platforms [25.73585435351771]
  本稿では,マルチモーダル大規模言語モデルによるソーシャルメディアコンテンツの理解を評価するためのベンチマークであるMM-Socを紹介する。 MM-Socは、注目すべきマルチモーダルデータセットをコンパイルし、新しい大規模なYouTubeタグ付けデータセットを組み込む。 分析の結果、ゼロショット環境では、様々なMLLMが一般的にソーシャルメディアのタスクを扱うのに困難を呈することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-21T22:27:40Z)
• A Predictive Factor Analysis of Social Biases and Task-Performance in Pretrained Masked Language Models [37.60331159498764]
  社会的バイアスは、事前訓練された言語マスケッド言語モデル(MLM)によって報告されている。 我々は、異なるモデルサイズ、訓練対象、トークン化方法、データドメインと言語をカバーする39以上の事前訓練研究を行う。 我々の結果は、トークン化やモデル目的など、以前の文献で無視される重要な要素に光を当てた。
  論文  参考訳（メタデータ） (2023-10-19T17:33:33Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• Gender bias and stereotypes in Large Language Models [0.6882042556551611]
  本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。 我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。 a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3～6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
  論文  参考訳（メタデータ） (2023-08-28T22:32:05Z)
• Whose Opinions Do Language Models Reflect? [88.35520051971538]
  質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。 我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。 我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
  論文  参考訳（メタデータ） (2023-03-30T17:17:08Z)
• BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation [89.41378346080603]
  この研究は、PLMに基づくメトリクスにおける社会バイアスに関する最初の体系的研究である。 PLMをベースとした一般的な指標は,従来の6つの属性の指標よりも社会的偏見が著しく高いことが実証された。 さらに, PLM層に注入される脱バイアスアダプタを開発し, テキスト生成の評価に高い性能を維持しながら, PLMベースのメトリクスのバイアスを軽減する。
  論文  参考訳（メタデータ） (2022-10-14T08:24:11Z)
• Assessing gender bias in medical and scientific masked language models with StereoSet [0.0]
  BERTは、ラベルなしテキストを用いて開発された強力で柔軟な汎用システムである。 職業、人種、宗教のパフォーマンスは、一般目的の全体的な偏見スコアと類似していた。 医学では,SciBERT以外の一般目的よりも,すべてのカテゴリーに偏りが認められた。
  論文  参考訳（メタデータ） (2021-11-15T21:25:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。