論文の概要: Into the LAIONs Den: Investigating Hate in Multimodal Datasets
- arxiv url: http://arxiv.org/abs/2311.03449v1
- Date: Mon, 6 Nov 2023 19:00:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 18:03:19.469486
- Title: Into the LAIONs Den: Investigating Hate in Multimodal Datasets
- Title（参考訳）: LAIONs Denへ:マルチモーダルデータセットにおけるヘイトの調査
- Authors: Abeba Birhane, Vinay Prabhu, Sang Han, Vishnu Naresh Boddeti,
Alexandra Sasha Luccioni
- Abstract要約: 本稿では、LAION-400MとLAION-2Bの2つのデータセットの比較監査を通して、ヘイトフルコンテンツに対するデータセットのスケーリングの効果について検討する。
その結果、データセットのスケールによってヘイトコンテンツは12%近く増加し、質的にも定量的にも測定された。
また、画像のみに基づいて算出されたNot Safe For Work(NSFW)値に基づくデータセットの内容のフィルタリングは、アルトテキストにおける有害なコンテンツをすべて排除するものではないことがわかった。
- 参考スコア（独自算出の注目度）: 67.21783778038645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 'Scale the model, scale the data, scale the compute' is the reigning
sentiment in the world of generative AI today. While the impact of model
scaling has been extensively studied, we are only beginning to scratch the
surface of data scaling and its consequences. This is especially of critical
importance in the context of vision-language datasets such as LAION. These
datasets are continually growing in size and are built based on large-scale
internet dumps such as the Common Crawl, which is known to have numerous
drawbacks ranging from quality, legality, and content. The datasets then serve
as the backbone for large generative models, contributing to the
operationalization and perpetuation of harmful societal and historical biases
and stereotypes. In this paper, we investigate the effect of scaling datasets
on hateful content through a comparative audit of two datasets: LAION-400M and
LAION-2B. Our results show that hate content increased by nearly 12% with
dataset scale, measured both qualitatively and quantitatively using a metric
that we term as Hate Content Rate (HCR). We also found that filtering dataset
contents based on Not Safe For Work (NSFW) values calculated based on images
alone does not exclude all the harmful content in alt-text. Instead, we found
that trace amounts of hateful, targeted, and aggressive text remain even when
carrying out conservative filtering. We end with a reflection and a discussion
of the significance of our results for dataset curation and usage in the AI
community. Code and the meta-data assets curated in this paper are publicly
available at https://github.com/vinayprabhu/hate_scaling. Content warning: This
paper contains examples of hateful text that might be disturbing, distressing,
and/or offensive.
- Abstract（参考訳）: 「モデルをスケールし、データをスケールし、計算をスケール」は、今日の生成AIの世界における支配的な感情である。
モデルスケーリングの影響は広く研究されているが、私たちはデータスケーリングの表面とその影響をひっかき始めたばかりです。
これはlaionのような視覚言語データセットの文脈において特に重要である。
これらのデータセットは継続的に拡大しており、品質、合法性、コンテンツといった多くの欠点があることで知られているcommon crawlのような大規模インターネットダンプをベースに構築されている。
データセットは大規模な生成モデルのバックボーンとして機能し、有害な社会バイアスや歴史的バイアスやステレオタイプの運用と持続に寄与する。
本稿では、LAION-400MとLAION-2Bの2つのデータセットの比較監査を通して、ヘイトフルコンテンツに対するデータセットのスケーリングの効果を検討する。
その結果,HCR(Hate Content Rate)と呼ばれる指標を用いて,ヘイトコンテンツがデータセットスケールで約12%増加し,質的,定量的に測定された。
また,画像のみに基づいて計算されたnsfw値に基づくデータセットのフィルタリングは,alt-textの有害コンテンツをすべて排除するものではないことを見出した。
むしろ、保守的なフィルタリングを行うときでさえ、憎悪、ターゲット、攻撃的なテキストが残されていることがわかったのです。
最終的には、AIコミュニティにおけるデータセットのキュレーションと使用に関する結果の重要性に関するリフレクションと議論で終わります。
コードとメタデータのアセットはhttps://github.com/vinayprabhu/hate_scalingで公開されている。
コンテンツ警告:本論文は、混乱、苦痛、および/または攻撃的なヘイトフルテキストの例を含む。
関連論文リスト
- The Empirical Impact of Data Sanitization on Language Models [1.1359551336076306]
本稿では,複数のベンチマーク言語モデリングタスクにおけるデータ・サニタイズの効果を実証的に分析する。
以上の結果から,感情分析やエンテーメントなどのタスクでは,リアクションの影響は極めて低く,典型的には1～5%程度であることが示唆された。
理解的なQ&Aのようなタスクでは、オリジナルのものと比較して、再実行クエリで観測されるパフォーマンスの25%が大幅に低下している。
論文 参考訳（メタデータ） (2024-11-08T21:22:37Z) - Scaling Laws for Data Filtering -- Data Curation cannot be Compute Agnostic [99.3682210827572]
ビジョン言語モデル(VLM)は、慎重にキュレートされたWebデータセット上で数千のGPU時間でトレーニングされる。
データキュレーション戦略は通常、トレーニングに利用可能な計算を知らないように開発されている。
ウェブデータの非均一性を考慮したニューラルスケーリング法則を導入する。
論文 参考訳（メタデータ） (2024-04-10T17:27:54Z) - On Hate Scaling Laws For Data-Swamps [14.891493485229251]
HCR(Hate Content Rate)測定値で測定すると,データセットにおけるヘイトフルコンテンツの存在が約12%増加した。
スケールが大きくなるにつれて、他の7つの攻撃的クラスに比べて、人間の顔の画像と人間のクラスを関連付ける傾向が半減した。
黒人女性のカテゴリーでは、モデルを犯罪者のクラスに関連付ける傾向は2倍になり、黒人男性の顔のクインタップリングは4倍になった。
論文 参考訳（メタデータ） (2023-06-22T18:00:17Z) - Detect Hate Speech in Unseen Domains using Multi-Task Learning: A Case
Study of Political Public Figures [7.52579126252489]
複数のヘイトスピーチデータセットを同時に学習するマルチタスク学習パイプラインを提案する。
列車-テスト分割における一般化誤差を調べる際には強い結果が得られ、以前に見つからなかったデータセットで予測する場合には大幅に改善される。
PubFigsと呼ばれる新しいデータセットも収集し、アメリカ公共政治図の問題点に焦点をあてた。
論文 参考訳（メタデータ） (2022-08-22T21:13:38Z) - Multimodal datasets: misogyny, pornography, and malignant stereotypes [2.8682942808330703]
最近リリースされたLAION-400Mデータセットは、Common-Crawlデータセットから解析された画像-Alt-textペアのCLIPフィルタリングデータセットである。
このデータセットには、レイプ、ポルノグラフィー、悪性のステレオタイプ、人種差別的および民族的スラー、その他の非常に問題のあるコンテンツが含まれています。
論文 参考訳（メタデータ） (2021-10-05T11:47:27Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z) - Contemplating real-world object classification [53.10151901863263]
Barbuらが最近提案したObjectNetデータセットを再分析した。
日常の状況に物を含むこと。
分離されたオブジェクトにディープモデルを適用すると、元の論文のようにシーン全体ではなく、約20～30%の性能改善が得られます。
論文 参考訳（メタデータ） (2021-03-08T23:29:59Z) - Trawling for Trolling: A Dataset [56.1778095945542]
攻撃的コンテンツのサブカテゴリとしてトロリングをモデル化するデータセットを提案する。
データセットには12,490のサンプルがあり、5つのクラスに分かれている。
論文 参考訳（メタデータ） (2020-08-02T17:23:55Z) - REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets [64.76453161039973]
REVISE(Revealing VIsual biaSEs)は、視覚的データセットの調査を支援するツールである。
1)オブジェクトベース,(2)個人ベース,(3)地理ベースという3つの次元に沿った潜在的なバイアスを呈示する。
論文 参考訳（メタデータ） (2020-04-16T23:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。