論文の概要: Diverse, but Divisive: LLMs Can Exaggerate Gender Differences in Opinion
Related to Harms of Misinformation
- arxiv url: http://arxiv.org/abs/2401.16558v1
- Date: Mon, 29 Jan 2024 20:50:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 17:04:16.751342
- Title: Diverse, but Divisive: LLMs Can Exaggerate Gender Differences in Opinion
Related to Harms of Misinformation
- Title(参考訳): 異なるが異なる: LLMは、誤情報に関する意見の性差を誇張できる
- Authors: Terrence Neumann, Sooyong Lee, Maria De-Arteaga, Sina Fazelpour,
Matthew Lease
- Abstract要約: 本稿では,多言語モデル(LLM)が誤報の被害を評価する際に,様々なグループの視点を反映できるかどうかを検討する。
TopicMisinfoデータセットには,さまざまなトピックから160件のファクトチェックされたクレームが含まれている。
GPT 3.5-Turboは、経験的に観察された意見の男女差を反映するが、これらの差の程度を増幅する。
- 参考スコア(独自算出の注目度): 8.066880413153187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The pervasive spread of misinformation and disinformation poses a significant
threat to society. Professional fact-checkers play a key role in addressing
this threat, but the vast scale of the problem forces them to prioritize their
limited resources. This prioritization may consider a range of factors, such as
varying risks of harm posed to specific groups of people. In this work, we
investigate potential implications of using a large language model (LLM) to
facilitate such prioritization. Because fact-checking impacts a wide range of
diverse segments of society, it is important that diverse views are represented
in the claim prioritization process. This paper examines whether a LLM can
reflect the views of various groups when assessing the harms of misinformation,
focusing on gender as a primary variable. We pose two central questions: (1) To
what extent do prompts with explicit gender references reflect gender
differences in opinion in the United States on topics of social relevance? and
(2) To what extent do gender-neutral prompts align with gendered viewpoints on
those topics? To analyze these questions, we present the TopicMisinfo dataset,
containing 160 fact-checked claims from diverse topics, supplemented by nearly
1600 human annotations with subjective perceptions and annotator demographics.
Analyzing responses to gender-specific and neutral prompts, we find that GPT
3.5-Turbo reflects empirically observed gender differences in opinion but
amplifies the extent of these differences. These findings illuminate AI's
complex role in moderating online communication, with implications for
fact-checkers, algorithm designers, and the use of crowd-workers as annotators.
We also release the TopicMisinfo dataset to support continuing research in the
community.
- Abstract(参考訳): 偽情報の拡散と偽情報の拡散は社会に重大な脅威をもたらす。
プロのファクトチェッカーは、この脅威に対処する上で重要な役割を担いますが、問題の大規模な規模によって、限られたリソースを優先せざるを得ません。
この優先順位付けは、特定のグループに生じる害のリスクの変化など、さまざまな要因を考慮することができる。
本研究では,このような優先順位付けを容易にするために,大規模言語モデル (LLM) を用いる可能性について検討する。
ファクトチェックは社会の多様なセグメントに影響を及ぼすため、多様な見解がクレーム優先プロセスで表現されることが重要である。
本稿では,誤情報の被害を評価する際に,llmが様々なグループの視点を反映できるかどうかについて検討する。
1) 明示的なジェンダー参照によるプロンプトは、社会的関連性に関する米国における意見の性別差をどの程度反映しているか?
そして,(2)性中立的プロンプトは,それらの話題に対するジェンダー的視点とどの程度一致しているか?
これらの質問を解析するために、TopicMisinfoデータセットを提示し、様々なトピックから160件の事実チェック済みのクレームを含む、主観的知覚とアノテータの人口統計による1600件近い人間のアノテーションを補足した。
GPT 3.5-Turboは,性差と性差を実証的に反映するが,これらの差の程度を増幅する。
これらの発見は、ファクトチェッカー、アルゴリズムデザイナ、アノテータとしてのクラウドワーカーの使用など、オンラインコミュニケーションをモデレートするAIの複雑な役割を浮き彫りにした。
また、コミュニティでの継続的な研究をサポートするために、 topicmisinfoデータセットをリリースします。
関連論文リスト
- Evaluating LLMs for Gender Disparities in Notable Persons [0.40964539027092906]
本研究では,事実情報の検索にLarge Language Models (LLMs) を用いることを検討した。
事実的不正確な「ハロゲン化」反応を作り出すことや、全く答えることができないことへの懸念に対処する。
論文 参考訳(メタデータ) (2024-03-14T07:58:27Z) - A Framework to Assess (Dis)agreement Among Diverse Rater Groups [19.33317910796263]
本研究では,異なるレーダサブグループ間の視点において,系統的な多様性を測定するための総合的不一致分析フレームワークを提案する。
分析の結果,他のものよりも多様な視点を持つ特定のレーダ群が明らかとなり,安全アノテーションを検討する上で重要な人口動態軸が示唆された。
論文 参考訳(メタデータ) (2023-11-09T00:12:21Z) - Understanding Divergent Framing of the Supreme Court Controversies:
Social Media vs. News Outlets [56.67097829383139]
我々は、米国最高裁判所の一連の判決に関して、ソーシャルメディアや伝統的なメディアのフレーミングにおける微妙な区別に焦点を当てている。
メディアが肯定的な行動や中絶の権利を扱い、学生ローンの話題はより深いコンセンサスを示す傾向にある。
論文 参考訳(メタデータ) (2023-09-18T06:40:21Z) - Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and
Addressing Sociological Implications [0.0]
この研究は、AI言語モデルにおけるジェンダーバイアスに関する既存の研究を調査し、現在の知識のギャップを特定する。
この結果は,大規模言語モデルのアウトプットに存在する,ジェンダー付き単語関連,言語使用,偏見付き物語に光を当てた。
本稿では,アルゴリズムアプローチやデータ拡張手法など,LSMにおける性別バイアスを低減するための戦略を提案する。
論文 参考訳(メタデータ) (2023-07-18T11:38:45Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳(メタデータ) (2023-06-21T17:59:51Z) - Whose Opinions Do Language Models Reflect? [88.35520051971538]
質の高い世論調査と関連する人的反応を利用して,言語モデル(LM)に反映された意見を検討する。
我々は、現在のLMが反映している見解と、アメリカの人口集団の見解の間にかなりの不一致を見出した。
我々の分析は、人間のフィードバック調整されたLMの左利き傾向に関する事前の観察を裏付けるものである。
論文 参考訳(メタデータ) (2023-03-30T17:17:08Z) - A Multibias-mitigated and Sentiment Knowledge Enriched Transformer for
Debiasing in Multimodal Conversational Emotion Recognition [9.020664590692705]
会話におけるマルチモーダル感情認識(mERC)は自然言語処理(NLP)において活発な研究課題である
無数の暗黙の偏見と先入観は人間の言語と会話を埋める。
既存のデータ駆動型mERCアプローチは、男性よりも女性の発話に対する感情的スコアが高い可能性がある。
論文 参考訳(メタデータ) (2022-07-17T08:16:49Z) - Text as Causal Mediators: Research Design for Causal Estimates of
Differential Treatment of Social Groups via Language Aspects [7.175621752912443]
本研究では,社会集団信号の自然的直接的・間接的影響が話者の反応に与える影響を推定するために,観察的(実験的でない)データに対する因果的研究設計を提案する。
本稿では、この枠組みの約束と課題について、アメリカ合衆国最高裁判所の口頭弁論における司法の中断に対する擁護者の性別の影響に関する理論的ケーススタディを通して説明する。
論文 参考訳(メタデータ) (2021-09-15T19:15:35Z) - Gender bias in magazines oriented to men and women: a computational
approach [58.720142291102135]
女性指向の雑誌の内容と男性指向の雑誌の内容を比較する。
トピック・モデリングの手法により、雑誌で議論されている主要なテーマを特定し、これらのトピックの存在が時間とともに雑誌間でどの程度異なるかを定量化する。
以上の結果から,セクシュアオブジェクトとしての家族,ビジネス,女性の出現頻度は,時間とともに消失する傾向にあることが示唆された。
論文 参考訳(メタデータ) (2020-11-24T14:02:49Z) - Face Off: Polarized Public Opinions on Personal Face Mask Usage during
the COVID-19 Pandemic [77.34726150561087]
様々な政府機関による一連の政策変更は、フェイスマスクの偏光に寄与したと推測されている。
新型コロナウイルスの感染拡大に伴う米国でのマスクに対する国民の感情を正確に評価するための新しいアプローチを提案する。
2つの重要な政策シフトの出来事が、共和党と民主党の両方の感情の統計的に重要な変化に寄与している。
論文 参考訳(メタデータ) (2020-10-31T18:52:41Z) - Gender Stereotype Reinforcement: Measuring the Gender Bias Conveyed by
Ranking Algorithms [68.85295025020942]
本稿では,性別ステレオタイプをサポートする検索エンジンの傾向を定量化するジェンダーステレオタイプ強化(GSR)尺度を提案する。
GSRは、表現上の害を定量化できる情報検索のための、最初の特別に調整された尺度である。
論文 参考訳(メタデータ) (2020-09-02T20:45:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。